Neue KI kann Standbilder in 3D-Animationen umwandeln

• Neue Deep-Learning-Methode verwendet konvolutionelle neuronale Netze, um einen Charakter in 3D aus einem einzelnen Standbild zu animieren.
• Es kann einen Charakter im Bild dazu bringen, in 3D herauszugehen, zu sitzen, zu rennen oder zu springen.
• Die gesamte Animation kann interaktiv auf Monitoren und VR/AR-Geräten betrachtet werden.

In den letzten Jahren hat die allgemeine Animation aus Videos zu zahlreichen kreativen Effekten geführt. Auch das Animieren aus einem einzelnen Bild anstelle von Videos oder Fotoserien hat zu faszinierenden Effekten geführt.

Das Skinned Multi-Person Linear (SMPL)-Modell und Deep-Learning-Frameworks haben sich als äußerst nützlich für die 3D-Posen- und Formschätzung aus einem einzigen Bild erwiesen. Bisher haben sich die meisten Einzelbild-Animationstechniken für Personen hauptsächlich auf 2D- oder Pseudo-3D-Animationen konzentriert.

Vor kurzem hat ein Forschungsteam der University of Washington und Facebook eine neue Technik entwickelt, die Standbilder und Bilder in 3D-Animationen umwandeln kann. Diese Deep-Learning-Methode namens „Photo Wake-Up“ verwendet ein Convolutional Neural Network (CNN), um einen Charakter in 3D aus einem einzelnen Standbild zu animieren.

Erweckung des Vordergrundcharakters

Im Gegensatz zu Cinemagraphs, die Standbilder verwenden, die sich in einer bestimmten Reihenfolge bewegen, um ein Video zu erstellen, verwendet das neue System ein einzelnes Bild als Eingabe und bietet ein vollständiges 3D-Erlebnis. Es kann einen Charakter im Bild in 3D herauslaufen, sitzen, laufen oder springen lassen, und die gesamte Animation kann interaktiv auf Monitoren und VR/AR-Geräten angezeigt werden.

Jetzt fragen Sie sich sicher, wie diese neue Methode funktioniert. Nun, es umfasst 5 Schritte:

1. Passen Sie das Bild mit einem morphbaren Körpermodell an
2. Schätzen Sie die Body-Label-Karte
3. Konstruieren Sie Schritt für Schritt ein Netz, das vom morphbaren Modell geleitet wird
4. Richten Sie das Netz auf und schätzen Sie die Gewichte der Netzhautbildung
5. Erstellen Sie zum Schluss die Texturen neu und platzieren Sie sie auf einem leeren Hintergrundbild.

Das CNN basiert auf einem vortrainierten Modell SMPL und läuft auf NVIDIA TITAN GPUs. Es funktioniert mit einer Vielzahl von Frontalbildern, von Postern und Kunst bis hin zu Sportfotos. Benutzer können sogar die Person auf dem Foto bearbeiten, den rekonstruierten Körper in 3D anzeigen und ihn auf AR-Geräten erkunden, zum Beispiel können Benutzer das Kunstwerk an der Wand platzieren und während der Wiedergabe um die Animation herumgehen.

Gelesen: arXiv:1812.02246 | Universität Washington

Das Team demonstrierte den Algorithmus an Bildern von Comicfiguren, Graffiti, Stephen Curry (NBA-Spieler) und Picasso-Gemälden. Bisher haben sie das neuronale Netz an mehr als 70 Bildern getestet, die aus dem Internet heruntergeladen wurden.

Vergleich und Einschränkungen

Die Forscher verglichen ihren Algorithmus mit anderen hochmodernen verwandten Methoden und bewerteten die Ergebnisse mit Humanstudien. Die über Photo Wake-Up erzielten Ergebnisse erschienen in Standbildern viel weniger verzerrt und realistischer als andere Methoden. Darüber hinaus bieten diese Ergebnisse tatsächliche 3D-Erlebnisse, die mit herkömmlichen Techniken nicht möglich waren.

Lesen Sie:Neue künstliche Intelligenz kann jeden in einen professionellen Tänzer verwandeln

Der Algorithmus ist noch lange nicht perfekt und es gibt noch viel Raum für Verbesserungen. Zum Beispiel wurden Reflexionen und Schatten noch nicht modelliert, und manchmal wird eine falsche 3D-Pose erzeugt, aufgrund derer die gesamte Körperform unrealistisch aussieht. Außerdem müssen bestimmte Okklusionen verfeinert werden, wie zum Beispiel das Überkreuzen der Beine beim Sitzen.