KI kann jetzt realistische, vielfältige Tanzbewegungen komponieren

• Forscher trainieren ein Deep-Learning-Modell, um neue Tanzschritte zu generieren, die realistisch, vielfältig und stilkonsistent sind.
• Es kann die Erstellung von Inhalten in verschiedenen Bereichen unterstützen und erweitern, wie z. B. rhythmische Gymnastik und Theateraufführungen.

Während Wissenschaftler Computer schrittweise auf das menschliche Intelligenzniveau hinbewegen, haben sie begonnen, einige sehr menschliche Bemühungen in Angriff zu nehmen. Wir haben sicherlich einen Punkt erreicht, an dem künstliche Intelligenz Choreografen helfen könnte, Dinge durcheinander zu bringen, indem sie Tausende von verschiedenen Stilen vorschlägt.

Kürzlich haben Forscher der University of California ein Deep-Learning-Modell entwickelt, um neue Tanzschritte zu generieren, die realistisch, vielfältig und stilkonsistent sind. Es enthält einen Synthese-durch-Analyse-Lernrahmen, um aus Musik Beat-matching-Tänze zu generieren.

Der Aufbau eines solchen Music-to-Dance-Frameworks ist eine anspruchsvolle Aufgabe, kann aber die Inhaltserstellung in mehreren Bereichen unterstützen und erweitern, wie zum Beispiel Eiskunstlauf, rhythmische Gymnastik und Theateraufführungen.

Der Kern des KI-Choreographen

Um Tanz aus Musik zu synthetisieren, entwickelten die Forscher einen Rahmen von der Zerlegung zur Komposition, der zuerst lernt, sich zu bewegen (in der Zerlegungsphase) und dann grundlegende Bewegungen in einer Sequenz anzuordnen (in der Kompositionsphase).

In der ersten Phase extrahierten sie mithilfe eines kinematischen Beat-Detektors Bewegungsschläge aus einer Tanzsequenz. Jede Tanzsequenz wird dann zeitlich in eine Reihe von Tanzeinheiten normiert. Einzelne Tanzeinheiten wurden in anfängliche Posen und Bewegungen entwirrt.

Referenz:arXiv:1911.02001 | GitHub

In der zweiten Phase schlugen die Forscher ein Musik-zu-Bewegungs-Modell vor, um eine Bewegungsfolge zu erstellen, die der eingegebenen Musik entspricht. Zur Laufzeit extrahierten sie die Beat- und Stilinformationen und produzierten dann nacheinander eine Reihe von Tanzeinheiten entsprechend dem Musikstil. Schließlich verzerrten sie die Tanzeinheiten durch extrahierte Audio-Beats.

Um das Netzwerk zu trainieren, sammelte das Team mehr als 360.000 Videoclips mit einer Gesamtlänge von 71 Stunden. Diese Videos umfassten drei Tanzkategorien:Hip-Hop, Zumba und Ballett.

Um verschiedene Posen zu verarbeiten, verwendeten sie OpenPose, ein Echtzeit-Mehrpersonensystem, um gemeinsam die Schlüsselpunkte des menschlichen Körpers, des Gesichts, der Hand und des Fußes auf einzelnen Bildern zu erkennen. Und für die Leistungsbewertung verwendeten sie verschiedene Messwerte, um Stilkonsistenz, Realismus, Vielfalt und Beat-Matching zu untersuchen.

Mapping generierter Tänze auf fotorealistische Videos | Mit freundlicher Genehmigung der Forscher 

Die Forscher synthetisierten auch Posensequenzen zu fotorealistischen Videos, um die Ergebnisse besser zu visualisieren. Der umfangreiche gepaarte Tanz- und Musikdatensatz ist zusammen mit dem Quellcode auf GitHub verfügbar.

Lesen Sie: KI kann die Zuschauerzahlen vorhersagen, indem sie einen Filmtrailer analysiert

Das generative gegnerische Netzwerk wird mit dem Deep-Learning-Framework PyTorch auf NVIDIA V100-GPUs trainiert. In naher Zukunft werden die Forscher weitere Tanzstile (wie Partnertanz) hinzufügen, um das System noch besser zu machen.