Samsung-KI erzeugt realistische sprechende Avatare aus einem einzelnen Foto

• Ein neues KI-Modell kann sprechende Avatare aus einem einzigen Bild erzeugen.
• Entwickler wandten das Modell auf berühmte Gemälde an – darunter Leonardo da Vinci und die Mona Lisa.
• Die Ergebnisse weisen noch visuelle Artefakte auf, sind aber weit beeindruckender als frühere Techniken.

Software zur Erstellung von Deepfakes (eine KI-basierte Technik zur Menschensynthese) benötigt normalerweise große Bildersätze, um realistische Fälschungen zu erstellen. Jüngste Fortschritte in neuronalen Netzen zeigten, wie hochrealistische Menschenbilder durch Training auf breit gefächerten Datensätzen erzielt werden können.

Nun haben Entwickler im Samsung-Forschungszentrum in Moskau ein neues KI-Modell entwickelt, das sprechende Avatare aus einem einzelnen Bild generieren kann. Zwar ist es möglich, einen Videoclip aus einem Bild zu erzeugen, doch Training mit mehreren Bildern liefert bessere Identitätswahrung und höheren Realismus.

Die von diesem Modell generierten sprechenden Köpfe können diverse Posen darstellen – auch solche, die über die Fähigkeiten warping-basierter Systeme hinausgehen. Zwar finden sich noch visuelle Glitches, doch die Ergebnisse sind im Vergleich zu früheren Techniken beeindruckend. Das Modell führt zur Erstellung von Multimedia-Inhalten, die letztlich schwer von echten Videos zu unterscheiden sein werden.

Herausforderungen

Die Erzeugung realistischer sprechender Avatar-Sequenzen ist hauptsächlich aus zwei Gründen schwierig:

1. Menschliche Köpfe weisen hohe kinematische, geometrische und photometrische Komplexität auf. Haare, Augen, Mundhöhle und viele weitere Elemente müssen präzise modelliert werden.
2. Die Schärfe des visuellen Systems gegenüber winzigen Fehlern in der Erscheinungsmodellierung menschlicher Köpfe.

Um diese Probleme anzugehen, erstellt das neue KI-Modell während des Lernprozesses drei neuronale Netze. Es baut ein Einbettungsnetz, das Gesichtslandmarken-Frames mit Vektoren verknüpft. Dann erstellt es ein Generatoren-Netz, das Landmarken in synthetisierte Clips abbildet. Im finalen Schritt bewertet das Diskriminatoren-Netz Pose und Realismus der Frames.

Quelle: arXiv:1905.08233 | YouTube

Um Gesichtslandmarken und -bewegungen besser zu verstehen, trainierten die Forscher die Netze mit Tausenden YouTube-Videos sprechender Menschen. Die Ergebnisse (sprechende Köpfe) wurden anschließend via quantitativer Messungen mit alternativen neuronalen Netzen verglichen.

Ergebnisse

Das Team wandte das Modell auf Bilder zahlreicher bekannter Persönlichkeiten an – Mona Lisa, Leonardo da Vinci, Albert Einstein. Die KI konnte aus einem einzelnen Bild sprechende Videos erzeugen und klassische Porträts zum Leben erwecken. Ein Foto genügt für die Videogenerierung. Ein Modell, das auf 32 Bildern trainiert wurde, erreicht jedoch einen besseren Personalisierungs-Score und perfekten Realismus.

Diese Art von KI kann diverse praktische Anwendungen in der Telepräsenz haben – darunter Multiplayer-Spiele, Videokonferenzen sowie die Special-Effects-Industrie.

Weiterlesen: IBM entwickelt KI, die Szenen in Videos erkennt

Auf der Kehrseite könnte die rasante Entwicklung solcher Techniken Risiken wie Desinformation, Identitätsdiebstahl, Betrug und Wahlmanipulation erhöhen.