NVIDIA enthüllt KI für interaktive 3D-Umgebungen aus Realwelt-Videos

• Forscher demonstrieren neuen Typ Video-zu-Video-Synthese.
• Ermöglicht Entwicklern, vollständig interaktive 3D-Umgebungen aus Realwelt-Videos zu rendern.
• Erzeugt 30-sekündige Videos in 2K-Auflösung.

Vor fast zwei Jahrzehnten brachte NVIDIA die erste GPU weltweit auf den Markt – ein massiver Sprung in 3D-Gaming-Performance. Nun führen sie ein KI-Tool ein, das Entwicklern erlaubt, vollständig synthetische, interaktive 3D-Umgebungen aus Realwelt-Videos zu rendern.

Die Fähigkeit, Realweltdynamiken zu modellieren und nachzubilden, ist entscheidend für intelligente Agenten. Das Synthetisieren kontinuierlicher visueller Erlebnisse hat vielfältige Anwendungen in Computergrafik und Robotik. Es könnte Entwicklern helfen, realistische Szenen ohne Spezifikation von Beleuchtung, Materialien und Szenengeometrie zu erstellen.

In dieser Arbeit demonstrierten Forscher einen neuen Typ Video-zu-Video-Synthese. Ziel: Eine Mapping-Funktion lernen, die ein Eingabevideo effizient in ein Ausgabevideo transformiert. Sie synthetisierten hochauflösende, zeitlich konsistente Videos mit Generatoren und Diskriminatoren sowie spatio-temporalem adversarialem Lernen.

Neuronale Netze zum Rendern hochleveliger Beschreibungen

Für Echtzeit-Rendering der synthetischen 3D-Welt starteten sie mit einem bedingten generativen neuronalen Netzwerk, trainiert auf existierenden Videos. Die Netzwerke lernten allmählich, Objekte wie Fahrzeuge, Gebäude und Bäume zu rendern.

Mit bestehender Technologie müssen Entwickler jedes Objekt einzeln modellieren – zeitaufwendig und teuer. Das neue Tool basiert auf einem Modell, das automatisch aus Realvideo lernt und virtuelle Welten für Automotive, Gaming, Robotik, Architektur und VR erstellt.

Referenz: arXiv:1808.06601 | NVIDIA | GitHub

Es kann interaktive Umgebungen basierend auf realen Orten erstellen oder Menschen tanzen lassen wie ihre Lieblingsrockstars. Das Netzwerk arbeitet mit hochleveligen Beschreibungen einer 3D-Szene, z. B. Kantenkarten, die Objektstandorte und allgemeine Attribute beschreiben (ob ein Bildbereich ein Gebäude oder Auto ist). Dann füllt es Details mit Realweltszenen auf.

Neuronale Netze wurden auf Videos tatsächlicher Stadtgebiete trainiert. Forscher erstellten eine Demo, die Navigation durch eine virtuelle Stadtwelt ermöglicht, gerendert von den Netzwerken. Da Szenen synthetisch erstellt werden, lassen sich Objekte im virtuellen Szenen einfach bearbeiten, hinzufügen oder modifizieren.

Mit freundlicher Genehmigung der Forscher

Die Demo läuft auf NVIDIA Tensor Core GPUs und bietet ein völlig neues Erlebnis interaktiver Grafik. Netzwerke trainiert auf DGX-1 mit CUDA Deep Neural Network Library, using NVIDIA Tesla V100 GPUs. Team wählte mehrere tausend Clips aus Cityscapes und Apolloscapes Datensätzen zum Training.

Testing

Sie führten mehrere Tests durch und erzielten quantitative und qualitative Ergebnisse, die zeigen, dass synthetisierte Szenen realistischer aussehen als jene bestehender State-of-the-Art-Methoden.

Diese neue KI produziert 30-sekündige Videos in 2K-Auflösung. Auch bietet sie hochlevelige Kontrolle über die Ausgabe. Beispiel: Bäume einfach durch Gebäude in der Szene ersetzen.

Der Ansatz ist nicht perfekt und scheitert in Szenarien wie rendern abbiegender Fahrzeuge aufgrund unzureichender Kartendaten. Dies ließe sich durch Integration von 3D-Cues wie Tiefenkarten beheben.

Weiterlesen: Google KI trackt Objekte durch Colorieren von Videos

Obwohl die Studie frühstadium ist, könnten Anwendungen dieser Technik die Entwicklung virtueller Umgebungen für diverse Domänen deutlich einfacher und günstiger machen.