Samsung AI kann aus einem einzigen Foto sprechendes Filmmaterial erstellen

• Ein neues KI-Modell kann sprechende Avatare aus einem einzigen Bild erstellen.
• Entwickler haben dieses Modell auf beliebte Gemälde angewendet, darunter Leonardo Da Vinci und Mona Lisa.
• Die Ergebnisse weisen einige visuelle Fehler auf, sind jedoch weitaus beeindruckender als frühere Techniken.

Software zum Generieren von Deepfakes (einer auf künstlicher Intelligenz basierenden Technik zur menschlichen Bildsynthese) erfordert große Bildmengen, um eine realistische Fälschung zu erstellen. Jüngste Fortschritte bei neuronalen Netzen haben gezeigt, wie sehr realistische menschliche Bilder erhalten werden können, indem das Netz mit einer breiten Palette von Datensätzen trainiert wird.

Entwickler des Samsung-Forschungszentrums in Moskau haben nun jedoch ein neues Modell der künstlichen Intelligenz (KI) entwickelt, das sprechende Avatare aus einem einzigen Bild erstellen kann. Obwohl es möglich ist, einen Videoclip aus einem Bild zu erstellen, führt das Trainieren mit mehreren Bildern zu einer besseren Erhaltung der Identität und einem höheren Realismus.

Die von diesem Modell erzeugten sprechenden Köpfe können verschiedene Posen handhaben, einschließlich solcher, die über die Fähigkeiten von Warping-basierten Systemen hinausgehen. Möglicherweise finden Sie einige visuelle Störungen, aber die Ergebnisse sind im Vergleich zu früheren Techniken beeindruckend. Das Modell führt zur Erstellung von Multimedia, die sich letztendlich nur schwer vom echten Video unterscheiden lassen.

Beteiligte Herausforderungen

Die Herstellung realistischer, sprechender Avatarsequenzen ist hauptsächlich aus zwei Gründen schwierig –

1. Menschliche Köpfe haben eine hohe kinematische, geometrische und photometrische Komplexität. Es ist notwendig, Haare, Augen, Mundhöhle und viele andere Elemente genau zu modellieren.
2. Die Schärfe des visuellen Systems gegenüber winzigen Fehlern in der Erscheinung, die menschliche Köpfe modelliert.

Um diese Probleme anzugehen, erstellt das neue KI-Modell während des Lernprozesses drei neuronale Netze. Es baut ein eingebettetes Netzwerk auf, das Gesichtsmarkenrahmen mit Vektoren verbindet. Dann baut es ein Generatornetzwerk auf, um Landmarken in die synthetisierten Clips abzubilden. Im letzten Schritt bewertet das Diskriminatornetzwerk die Pose und den Realismus der Frames.

Referenz:arXiv:1905.08233 | YouTube

Um die Orientierungspunkte und Bewegungen von Gesichtern besser zu verstehen, trainierten die Forscher die Netzwerke auf Tausenden von YouTube-Videos von Menschen, die sprechen. Die Ergebnisse (Talking Heads) wurden dann über quantitative Messungen mit alternativen neuronalen Netzen verglichen.

Ergebnisse

Das Team wendete dieses Modell auf Bilder vieler bekannter Persönlichkeiten wie Mona Lisa, Leonardo Da Vinci und Albert Einstein an. Die KI war in der Lage, aus einem einzigen Bild sprechende Videos zu erstellen und so klassische Porträts zum Leben zu erwecken. Es braucht nur ein Foto, um Videos zu erstellen. Ein auf 32 Bildern trainiertes Modell kann jedoch eine bessere Personalisierung und einen perfekten Realismus erzielen.

Diese Art von KI kann mehrere praktische Anwendungen in der Telepräsenz haben, darunter Multiplayer-Spiele, Videokonferenzen sowie Spezialeffekte.

Lesen Sie:IBM entwickelt eine KI, die Szenen in einem Video erkennt

Auf der anderen Seite könnte die schnelle Entwicklung solcher Techniken das Risiko von Fehlinformationen, Identitätsdiebstahl, Betrug und Wahlmanipulation erhöhen.