KI verwandelt Amateurtänzer mit Deep Learning Motion Transfer in Profis

• Ein bahnbrechendes Deep-Learning-System kann die Choreografie von Top-Tanzstars auf jedem Videomaterial nachbilden.
• Es ist nur ein normaler Videoeingang erforderlich – es sind keine teuren 3D-Rigs oder Motion-Capture-Anzüge erforderlich – um Ergebnisse in Studioqualität zu erzielen.

Künstliche Intelligenz verändert Branchen von der Unterhaltungselektronik bis zur Weltraumforschung, und diese neueste Innovation zeigt ihre transformative Kraft in der Kunst. Forscher der University of California haben einen Bewegungsübertragungsalgorithmus entwickelt, der die Bewegungen eines Ausgangstänzers auf einen Zieltänzer abbildet, sodass selbst ein Gelegenheitsteilnehmer wie eine erfahrene Ballerina oder Pop-Ikone aussieht.

Der Kerngedanke ist klar:„Tu, was ich tue.“ Innerhalb weniger Minuten kann das System professionelle Tanzbewegungen über ein Zielmotiv legen und so neue kreative Möglichkeiten für Darsteller, Pädagogen und Inhaltsersteller eröffnen.

Wie die Technologie funktioniert

Der Prozess beginnt mit dem Extrahieren von schlüsselpunktbasierten Posenskeletten sowohl aus dem Quell- als auch dem Zielvideo. Diese Pose-Strichmännchen bieten eine leichte, vom Aussehen unabhängige Darstellung der Körperposition, sodass sich das Modell ausschließlich auf die Bewegung konzentrieren kann.

Die Pose jedes Frames wird durch einen überwachten Posenschätzungsalgorithmus generiert, der genaue Strichmännchen erzeugt. Das Bewegungsübertragungsmodell nimmt dann diese Skelette auf und generiert Zielbilder, die die Pose der Quelle nachahmen und gleichzeitig das Erscheinungsbild des Ziels beibehalten. Die endgültige Ausgabe wird durch die Fusion des Pose-Transfer-Moduls mit einem generativen Verfeinerungsnetzwerk verfeinert und liefert schärfere, realistischere Bilder.

Der Workflow ist in drei Phasen unterteilt:

1. Posenerkennung – Extrahieren Sie 2D-Schlüsselpunkte aus Quell- und Zielmaterial.
2. Globale Posennormalisierung – Richten Sie die Skelette über die Motive hinweg aus.
3. Pose-Mapping – Synthetisieren Sie Zielbilder, die der Quellpose entsprechen.

Um eine zeitliche Glätte zu gewährleisten, mischt der Algorithmus die Pose des aktuellen Frames mit dem zuvor generierten Frame und reduziert so den Jitter drastisch. Bei Eingaben mit niedriger Bildrate wird ein Medianfilter angewendet. Für Videos mit hoher Bildrate (bis zu 120 fps) wird die Gaußsche Glättung von Schlüsselpunkten verwendet.

High-Fidelity-Ergebnisse werden durch die Integration von Conditional Generative Adversarial Networks (cGANs) erzielt, die auf über 20 Minuten Amateurtanzmaterial mit hoher Bildrate pro Motiv trainiert werden. Die von NVIDIA entwickelte pix2pixHD-Architektur dient als Rückgrat für die Bildübersetzungspipeline.

Referenz:arXiv:1808.07371

Training und Inferenz wurden auf NVIDIA GeForce GTX1080Ti- und TITANXp-GPUs mit PyTorch mit CUDA-Beschleunigung durchgeführt.

Zukünftige Richtungen

Der Algorithmus unterstützt derzeit die Bewegungsübertragung über eine Vielzahl von Motiven hinweg, ohne dass spezielle Hardware erforderlich ist. Es kommt jedoch gelegentlich zu Jitter, insbesondere wenn die Bewegungsgeschwindigkeit der Quelle den beim Training beobachteten Bereich überschreitet. Die laufende Forschung konzentriert sich auf die Optimierung von Posenschätzungsmethoden und die Erweiterung des Bewegungsrepertoires, um diese Artefakte zu mildern.

Ähnliche Durchbrüche finden Sie unter:NVIDIA AI Can Convert 30fps Videos to 240fps