NVIDIA entwickelt KI, die interaktive Grafiken aus der realen Welt erstellt

• Forscher demonstrieren eine neue Art der Video-zu-Video-Synthese.
• Es ermöglicht Entwicklern, vollständig interaktive 3D-Umgebungen aus realen Videos zu rendern.
• Es kann 30 Sekunden lange Videos mit 2K-Auflösung erstellen.

Vor fast zwei Jahrzehnten hat NVIDIA die weltweit erste GPU entwickelt, die einen deutlichen Sprung in der 3D-Gaming-Performance ermöglicht. Jetzt haben sie ein Tool für künstliche Intelligenz eingeführt, mit dem Entwickler vollsynthetische, interaktive dreidimensionale Umgebungen aus realen Videos rendern können.

Die Fähigkeit, reale Dynamiken zu modellieren und nachzubilden, ist entscheidend für die Entwicklung intelligenter Agenten. Das Synthetisieren kontinuierlicher visueller Erfahrungen hat eine Vielzahl von Anwendungen in der Computergrafik und Robotik. Es könnte Entwicklern helfen, realistische Szenen zu erstellen, ohne Beleuchtung, Materialien und Szenengeometrie festzulegen.

In dieser Arbeit haben Forscher eine neue Art der Video-zu-Video-Synthese demonstriert. Das Ziel besteht darin, eine Abbildungsfunktion zu erlernen, die ein Eingabevideo effizient in ein Ausgabevideo umwandeln kann. Sie haben mithilfe von Generatoren und Diskriminatoren hochauflösende, zeitlich konsistente Videos synthetisiert und räumlich-zeitliches kontradiktorisches Lernen verwendet.

Verwendung neuronaler Netze zum Rendern von Beschreibungen auf hoher Ebene

Um die synthetische dreidimensionale Welt in Echtzeit zu rendern, begannen sie mit einem bedingten generativen neuronalen Netz und trainierten es an bestehenden Videos. Die Netzwerke lernten nach und nach, Objekte wie Fahrzeuge, Gebäude und Bäume zu rendern.

Bei vorhandener Technologie müssen die Entwickler jedes Objekt einzeln modellieren, was sowohl zeitaufwändig als auch teuer ist. Andererseits basiert das neue Tool auf einem Modell, das automatisch aus realen Videos lernt und virtuelle Welten für Automotive, Gaming, Robotik, Architektur und Virtual Reality erstellt.

Referenz: arXiv:1808.06601 | NVIDIA | GitHub

Es kann interaktive Umgebungen basierend auf realen Orten erstellen oder Menschen zeigen, die wie ihre Lieblingsrockstars tanzen. Das Netzwerk arbeitet mit High-Level-Beschreibungen einer 3D-Szene, wie beispielsweise Kantenkarten, die die Positionen von Objekten sowie deren allgemeine Attribute beschreiben, z. B. ob ein bestimmter Teil eines Bildes aus einem Gebäude oder einem Auto besteht. Dann verwendet es reale Szenen, um die Details auszufüllen.

Die neuronalen Netze wurden auf Videos realer Stadtgebiete trainiert. Die Forscher haben eine Demo erstellt, die es Menschen ermöglicht, sich in einer virtuellen urbanen Welt zu bewegen, die von den Netzwerken wiedergegeben wird. Da Szenen synthetisch erstellt werden, ist es einfach, Objekte in der virtuellen Szene zu bearbeiten, hinzuzufügen oder zu ändern.

Mit freundlicher Genehmigung der Forscher 

Die Demo läuft auf NVIDIA Tensor Core GPUs und bietet laut Bericht eine ganz neue Erfahrung mit interaktiven Grafiken. Die neuronalen Netze werden auf DGX-1 zusammen mit der CUDA Deep Neural Network Library unter Verwendung von NVIDIA Tesla V100 GPUs trainiert. Das Team wählte mehrere Tausend Clips aus den Cityscapes- und Apolloscapes-Datensätzen aus, um die Netzwerke zu trainieren.

Testen

Sie führten mehrere Tests durch und erzielten sowohl quantitative als auch qualitative Ergebnisse, die zeigen, dass die synthetisierten Szenen realistischer aussehen als die, die mit bestehenden, hochmodernen Methoden erzeugt werden.

Diese neue KI kann 30 Sekunden lange Videos mit 2K-Auflösung produzieren. Außerdem bietet es eine High-Level-Kontrolle über den Ausgang. Zum Beispiel kann on problemlos Bäume durch Gebäude in der Szene hinzufügen oder ersetzen.

Der Ansatz ist nicht perfekt und scheitert in mehreren Szenarien, z. B. beim Rendern eines abbiegenden Fahrzeugs aufgrund unzureichender Kartendaten. Dies könnte jedoch durch die Integration von 3D-Hinweisen wie Tiefenkarten behoben werden.

Lesen Sie:Google AI kann Objekte durch Einfärben von Videos verfolgen

Obwohl sich die Studie noch im Anfangsstadium befindet, könnten Anwendungen dieser Technik die Entwicklung virtueller Umgebungen für eine Vielzahl von Domänen viel einfacher und kostengünstiger machen.