Facebook KI transformiert Musik across Genres und Instrumente

Facebook AI Research baut ein universelles Musikübersetzungsnetzwerk. Es repliziert gehörte Audio und spielt es in verschiedenen Stilen, Genres und Instrumenten zurück. Es verarbeitet ungehörte musikalische Quellen wie Klatschen oder Pfeifen und erzeugt hochwertiges Audio.

Methodik

Das KI-System basiert auf zwei aktuellen Technologien:

1. Hochwertige Audiosynthese durch autoregressive Modelle
2. Domänentransformation unüberwacht

Autoregressive Modelle sind als Decoder trainiert und erzeugen hochwertige, realistische Audios. Die zweite Technologie macht Dinge praktikabler, da überwachte Lernprobleme große Datensätze zahlreicher Musikinstrumente erfordern würden.

Forscher entwickelten und wandten einen universellen Encoder auf jeden Input an. Dies entfernte die Last, das gesamte Netzwerk zu trainieren, und ermöglichte Konvertierung ungehörter musikalischer Domänen in beliebige andere bekannte Domänen.

Sie trainierten universellen Encoder (via Domain Confusion Network) sichernd, dass domänenspezifische Daten nicht encodiert werden. Der universelle Encoder memorisiert Input nicht, sondern encodiert semantisch. Dazu verzerrten sie das Eingangssignal (Audioformat) durch zufällige lokale Pitch-Modulation.

Da das Netzwerk als Denoising Autoencoder trainiert wurde, kann es die unverzerrte Form des Originalsignals rekonstruieren. Das System lernt逐渐, Out-of-Domain-Inputsignale auf die passende Output-Domäne zu projizieren.

Training auf 6 klassische Musikdomänen mit Tausenden Samples. Ausführung: cuDNN-beschleunigtes PyTorch auf 8 NVIDIA Tesla V100 GPUs. Trainingsdauer: 8 Tage.

Ergebnisse

Die KI erreicht nicht professionelle Musikerqualität, doch oft können Zuhörer Original und KI-generiertes Audio kaum unterscheiden.

Das System verarbeitet ungehörte musikalische Quellen (Klatschen, Pfeifen) effektiv und produziert hochwertiges Audio. Neue Musikinstrumente lassen sich integrieren, ohne das komplette Netzwerk neu zu trainieren.

Laut Entwicklern öffnet ihre Arbeit Türen für komplexe Aufgaben: automatische Komposition und Transkription von Musik. Decoder können "kreativer" gemacht werden durch Verringerung des latenten Raums – erzeugt spannende natürliche Outputs, bei denen der Bezug zum Originalaudio verloren geht.