Revolutionäre KI verwandelt statische Fotos in interaktive 3D-Animationen

Vom Standbild zur 3D-Animation

In den letzten Jahren führte allgemeine Animation aus Videos zu zahlreichen kreativen Effekten. Animation aus einem einzelnen Bild statt aus Videos oder Fotoserien ergab ebenfalls faszinierende Effekte.

Das Skinned Multi-Person Linear (SMPL) Modell und Deep-Learning-Frameworks erwiesen sich als äußerst nützlich für 3D-Posen- und Formschätzung aus einem einzelnen Bild. Bisher konzentrierten sich die meisten Einzelbild-Personen-Animationstechniken primär auf 2D- oder Pseudo-3D-Animation.

Kürzlich entwickelte ein Forschungsteam der University of Washington und Facebook eine neue Technik, die Standbilder und Gemälde in 3D-Animationen verwandelt. Diese Deep-Learning-Methode namens «Photo Wake-Up» nutzt ein Convolutional Neural Network (CNN), um einen Charakter in 3D aus einem einzelnen Standbild zu animieren.

Den Vordergrund-Charakter zum Leben erwecken

Im Gegensatz zu Cinemagraphs, die Standbilder in einer bestimmten Reihenfolge nutzen, um ein Video zu erstellen, nimmt das neue System ein einzelnes Bild als Eingabe und liefert ein vollständiges 3D-Erlebnis. Es kann den Charakter im Bild in 3D gehen, sitzen, laufen oder springen lassen, und die gesamte Animation kann interaktiv auf Monitoren und VR/AR-Geräten betrachtet werden.

Wie funktioniert diese neue Methode? Sie umfasst 5 Schritte:

1. Anpassung des Bildes an ein morphbares Körpermodell
2. Schätzung der Körper-Label-Map
3. Schrittweiser Aufbau eines Meshes, geleitet vom morphbaren Modell
4. Rigging des Meshes und Schätzung der Mesh-Skinning-Gewichte
5. Schließlich Wiederaufbau der Texturen und Platzierung auf einem leeren Hintergrundbild.

Das CNN basiert auf einem vortrainierten SMPL-Modell und läuft auf NVIDIA TITAN GPUs. Es funktioniert bei einer breiten Palette frontal aufgenommener Bilder, von Postern und Kunstwerken bis zu Sportfotos. Nutzer können sogar die Person im Foto bearbeiten, den rekonstruierten Körper in 3D betrachten und auf AR-Geräten erkunden – beispielsweise das Kunstwerk an die Wand projizieren und um die Animation herumlaufen, während sie spielt.

Referenz: arXiv:1812.02246 | University of Washington

Das Team demonstrierte den Algorithmus an Bildern von Cartoon-Charakteren, Graffiti, Stephen Curry (NBA-Spieler) und Picasso-Gemälden. Bisher testeten sie das neuronale Netz an über 70 aus dem Internet heruntergeladenen Bildern.

Vergleich und Limitationen

Forscher verglichen ihren Algorithmus mit anderen State-of-the-Art-Methoden und bewerteten Ergebnisse mittels Humanstudien. Die über Photo Wake-Up erzielten Ergebnisse wirkten in Einzelbildern weit weniger verzerrt und realistischer als andere Methoden. Zudem bieten sie echte 3D-Erlebnisse, die mit herkömmlichen Techniken nicht möglich waren.

Der Algorithmus ist noch weit von perfekt, es gibt viel Verbesserungspotenzial. Reflexionen und Schatten wurden noch nicht modelliert, manchmal erzeugt er inkorrekte 3D-Posen, wodurch die Körperform unrealistisch wirkt. Auch bestimmte Okklusionen müssen verfeinert werden, etwa gekreuzte Beine beim Sitzen.