KI verwandelt Amateur-Tänzer in Profis durch Deep-Learning-Bewegungsübertragung

• Ein bahnbrechendes Deep-Learning-System kann Choreografien von Top-Tanzstars auf beliebige Videoaufnahmen übertragen.
• Es benötigt nur gewöhnliche Videoeingabe – keine teuren 3D-Rigs oder Motion-Capture-Anzüge – für Studio-Qualität.

Künstliche Intelligenz transformiert Branchen von Consumer Electronics bis Weltraumforschung, und diese neueste Innovation zeigt ihre transformative Kraft in den Künsten. Forscher der University of California entwickelten einen Motion-Transfer-Algorithmus, der die Bewegungen eines Quelltänzers auf einen Zielperformer abbildet und selbst einen Gelegenheitsteilnehmer wie eine erfahrene Ballerina oder Pop-Ikone aussehen lässt.

Die Kernidee ist simpel: „Tu, was ich tue.“ Innerhalb weniger Minuten kann das System professionelle Tanzbewegungen auf ein Zielsubjekt überlagern und eröffnet neue kreative Möglichkeiten für Performer, Pädagogen und Content-Creator.

Technologie-Funktionsweise

Der Prozess beginnt mit Extraktion von Keypoint-basierten Pose-Skeletten aus Quell- und Zielvideo. Diese Pose-Stickfiguren bieten eine leichte, erscheinungsunabhängige Repräsentation der Körperposition, sodass das Modell sich rein auf Bewegung konzentrieren kann.

Jeder Frame's Pose wird durch einen überwachten Pose-Estimation-Algorithmus generiert, der präzise Stickfiguren liefert. Das Motion-Transfer-Modell verarbeitet diese Skelette und generiert Zielframes, die die Quellpose nachahmen, während das Erscheinungsbild des Ziels erhalten bleibt. Die finale Ausgabe wird durch Fusion des Pose-Transfer-Moduls mit einem generativen Refinement-Netzwerk verfeinert, für schärfere, realistischere Frames.

Der Workflow gliedert sich in drei Stufen:

1. Pose Detection – Extraktion 2D-Keypoints aus Quell- und Zielvideo.
2. Globale Pose-Normalisierung – Ausrichtung der Skelette über Subjekte hinweg.
3. Pose Mapping – Synthese von Zielframes, die der Quellpose entsprechen.

Für zeitliche Glättung blendet der Algorithmus die aktuelle Frame-Pose mit dem zuvor generierten Frame, was Jitter drastisch reduziert. Bei niedriger Framerate wird ein Medianfilter angewendet; bei hohen Framerates (bis 120 fps) Gaußsches Glätten der Keypoints.

High-Fidelity-Ergebnisse erzielt die Integration von Conditional Generative Adversarial Networks (cGANs), trainiert auf über 20 Minuten High-Framerate-Amateur-Tanzmaterial pro Subjekt. Die pix2pixHD-Architektur von NVIDIA dient als Rückgrat der Image-Translation-Pipeline.

Referenz: arXiv:1808.07371

Training und Inferenz liefen auf NVIDIA GeForce GTX 1080 Ti und TITAN Xp GPUs mit PyTorch und CUDA-Beschleunigung.

Zukünftige Richtungen

Der Algorithmus unterstützt derzeit Bewegungsübertragung über diverse Subjekte ohne Spezialhardware. Gelegentliches Jitter bleibt, besonders wenn Quellbewegungsgeschwindigkeit den Trainingsbereich übersteigt. Laufende Forschung fokussiert Optimierung der Pose-Estimation und Erweiterung des Bewegungsrepertoires zur Reduktion dieser Artefakte.

Für verwandte Durchbrüche siehe: NVIDIA KI konvertiert 30fps Videos zu 240fps