KI ermöglicht Echtzeit-3D-Haarrendering mit 30.000 Strähnen

Forscher entwickeln ein neuronales Netz, das aus 2D-Bildern vollständige 3D-Haargeometrie erzeugt. Das Netzwerk rendert bis zu 30.000 Haarsträhnen in Millisekunden und kann diverse Frisuren – wellig, lockig, glatt – nahtlos sampeln und interpolieren.

Die Herausforderung realistischer Haardarstellung

Realistisches Haar auf Maschinen zu rendern, ist vermutlich die schwierigste Aufgabe bei der Digitalisierung virtueller Menschen. Im Gegensatz zu Augen, Nase und Ohren weist Haar enorme Formvariationen auf und ist durch die hohe Deformierbarkeit jeder einzelnen Strähne und seine volumetrische Struktur extrem komplex.

Zwar können bestehende Systeme hochwertige 3D-Haarmodelle erzeugen, doch erfordern sie meist spezielle Hard- und Software-Setups, die sich schwer einsetzen lassen. Einige moderne Techniken nutzen datengetriebene Ansätze, sind aber für Echtzeitanwendungen und Systeme mit begrenztem Speicher nicht praktikabel.

Forscher von Microsoft, Pinscreen und der University of Southern California haben nun ein Deep-Learning-Modell gebaut, das in Echtzeit vollständige 3D-Haargeometrie aus 2D-Bildern erzeugt.

Statt Strukturen als Punktwolken oder volumetrische Gitter zu synthetisieren, erstellt es Haarsträhnen direkt. Diese Methode eignet sich besser für Nicht-Mannigfaltigkeiten und liefert höhere Detailgenauigkeit und Präzision.

HairNet: Die Architektur

Das neuronale Netz, HairNet genannt, kann 3D-Haargeometrie kontinuierlich erzeugen und repräsenteren. Es sampelt und interpoliert nahtlos diverse Frisuren – wellig, lockig, glatt.

Die Pipeline besteht aus drei Schritten: Preprocessing, Haarsträhnen-Generierung und Rekonstruktion.

HairNet enthält einen konvolutionalen Encoder zur Extraktion hochwertiger Haarmerkmale (als Vektor) aus einem 2D-Bild und einen dekonsolutionalen Decoder zur Erzeugung von 32×32 gleichmäßig auf der Kopfhaut verteilten Strähnenmerkmalen. Diese werden auf dem Kopfhautraum interpoliert und schließlich als Serie von 3D-Punkten dargestellt.

Um gerenderte Frisuren in einen plausibleren Raum zu verschieben, führten die Forscher einen "Reconstruction Loss" und einen "Collision Loss" zwischen Körpermodell und Haarsträhnen ein. Das Eingangsbild diente als Gewichtung zur Modulation des Loss, was die Genauigkeit weiter verbesserte.

Training und Performance

Das Netzwerk wurde auf einem großen Datensatz mit 40.000 Frisuren und 160.000 zweidimensionalen Bildern aus zufälligen Blickwinkeln trainiert. Es lernte, 3D-Haare in verschiedenen Stilen, Farben und Längen aus einem einzelnen 2D-Foto zu regenerieren.

Trainiert wurde auf Nvidia Titan Xp GPUs mit PyTorch-Framework, unterstützt durch CUDA Deep Neural Network Library.

Das System rendert bis zu 30.000 Haarsträhnen in Millisekunden. Zudem kann es Video nachahmen und jede Strähne rendern – mit Interaktionen untereinander.

Zukünftige Arbeiten

Das Team räumt ein, dass die Technik noch nicht perfekt ist. Exotische Frisuren wie Afro, krauses Haar oder Buzz Cuts können nicht bewältigt werden. Training auf massiven Datensätzen mit mehr Variationen könnte dies lösen.

Auch bei leicht verdecktem Haar im Eingangsbild versagt die Technik. Zukünftig sollen Trainingsdatensätze durch Integration zufälliger Verdeckungen verbessert werden.