KI ermöglicht Echtzeit-3D-Haardarstellung mit 30.000 Strähnen

• Forscher entwickeln ein neuronales Netzwerk, das aus einem 2D-Bild eine vollständige 3D-Haargeometrie erzeugen kann. 
• Das Netzwerk ist in der Lage, bis zu 30.000 Haarsträhnen in Millisekunden zu rendern.
• Es kann verschiedene Frisuren, einschließlich welliger, lockiger und gerader Frisuren, problemlos abtasten und interpolieren. 

Die realistische Darstellung von Haaren auf Maschinen ist wahrscheinlich die schwierigste Aufgabe bei der Digitalisierung virtueller Menschen. Im Vergleich zu anderen Objekten wie Augen, Nase und Ohren weisen Haare eine große Bandbreite an Formvariationen auf und können aufgrund der Verformbarkeit jedes einzelnen Strangs und seiner volumetrischen Struktur äußerst komplex sein.

Es ist nicht so, dass bestehende Systeme nicht in der Lage wären, qualitativ hochwertige 3D-Haarmodelle zu generieren, aber sie erfordern typischerweise spezielle Hardware- und Software-Setups, die nicht einfach einsetzbar sind. Einige moderne Techniken nutzen zwar datengesteuerte Ansätze, sind jedoch für Echtzeitanwendungen und Systeme mit begrenztem Speicherplatz nicht realisierbar.

Jetzt haben Forscher von Microsoft, Pinscreen und der University of Southern California ein Deep-Learning-Modell erstellt, das in Echtzeit aus 2D-Bildern eine vollständige 3D-Haargeometrie erzeugen kann.

Anstatt Strukturen in Form von Punktwolken oder volumetrischen Gittern zu synthetisieren, wird die Haarsträhne direkt erzeugt. Diese Methode eignet sich besser für nicht-mannigfaltige Strukturen und könnte höhere Details und Genauigkeit liefern.

Haarnetz

Das neuronale Netzwerk, das sie HairNet nennen, ist in der Lage, kontinuierlich 3D-Haargeometrie zu erzeugen und darzustellen. Es kann verschiedene Frisuren, einschließlich welliger, lockiger und gerader Frisuren, problemlos abtasten und interpolieren.

Die Pipeline des neuronalen Netzwerks besteht aus drei Schritten:Vorverarbeitung, Generierung einer Haarsträhne und Rekonstruktion.

HairNet enthält einen Faltungsencoder zum Extrahieren hochwertiger Haarmerkmale (in Form eines Vektors) aus einem 2D-Bild und einen Entfaltungsdecoder zum Erzeugen von 32*32 Strähnenmerkmalen, die gleichmäßig auf der Kopfhaut verteilt sind. Diese Strangmerkmale werden dann auf dem Skalpraum interpoliert, die schließlich als Reihe von 3D-Punkten dargestellt werden.

Netzwerkarchitektur | Mit freundlicher Genehmigung von Forschern 

Um die gerenderten Frisuren in einen plausibleren Raum zu bringen, führten die Forscher „Rekonstruktionsverlust“ und „Kollisionsverlust“ zwischen einem Körpermodell und Haarsträhnen ein. Sie verwendeten das Eingabebild als Gewicht, um dessen Verlust zu modulieren, was die Genauigkeit weiter verbesserte.

Schulung

Die Forscher trainierten das neuronale Netzwerk anhand eines großen Datensatzes mit 40.000 Frisuren und 160.000 zweidimensionalen Bildern aus zufälligen Blickwinkeln. Das Netzwerk lernte dann, aus einem einzigen 2D-Foto 3D-Haare in verschiedenen Stilen, Farben und Längen zu regenerieren.

Rendern von Haaren aus einem 2D-Bild mit HairNet | Mit freundlicher Genehmigung von Forschern 

Die KI wurde auf Nvidia Titan Xp-GPUs (grafischen Verarbeitungseinheiten) mit dem PyTorch-Framework trainiert, das auf der CUDA Deep Neural Network Library basiert.

Referenz: arXiv:1806.07467

Es kann bis zu 30.000 Haarsträhnen in Millisekunden rendern. Darüber hinaus kann es Videos nachahmen und jeden Strang rendern – alle interagieren miteinander.

Zukünftige Arbeit

Das Team kam zu dem Schluss, dass ihre Technik noch nicht perfekt ist. Es kann keine exotischen Frisuren wie Afro-, Kinky- oder Buzz-Cuts verarbeiten. Dieses Problem könnte jedoch gelöst werden, indem das Netzwerk anhand umfangreicher Datensätze mit mehr Variationen trainiert wird.

Lesen Sie:KI kann jeden in jede beliebige Pose bringen | Menschliche Bilder in unsichtbaren Posen synthetisieren

Die Technik schlägt auch fehl, wenn das Haar im gegebenen Bild leicht verdeckt ist. Daher planen sie, die Trainingsdatensätze in Zukunft durch die Integration weiterer zufälliger Okklusionen zu verbessern.