Decart bringt Oasis3 auf den Markt:ein realistisches Weltmodell mit geringer Latenz für das Robotiktraining

Das Frontier AI-Forschungslabor Decart hat Oasis3 eingeführt, ein Weltmodell, das die Kluft zwischen synthetischer Simulation und realem KI-Einsatz schließen soll.

Die in diesem Monat vorgestellte Videoausgabe-Engine beschleunigt das Training von Roboter- und autonomen Fahrzeugsteuerungssystemen und versetzt sie in die Lage, unter unvorhersehbaren realen Bedingungen erfolgreich zu sein.

Robotikentwickler sind mit einem Mangel an hochwertigen Daten konfrontiert, die zum Trainieren von Systemen erforderlich sind, die in komplexen, realen Umgebungen navigieren können.

Während ein Fahrzeug lernen kann, auf einem statischen Parkplatz mit festen Leitkegeln zu manövrieren, stellt die offene Straße eine weitaus anspruchsvollere Umgebung dar, in der sich Wetter, Beleuchtung und dynamische Hindernisse ständig ändern.

Das Trainieren von Systemen zur Bewältigung des Chaos auf städtischen Straßen – starker Regen, plötzliche Hindernisse, unregelmäßiger Verkehr – stellt eine besondere Herausforderung dar, der sich Oasis3 stellt.

Der Engpass bei der Robotik-Ausbildung

Große Sprachmodelle (LLMs) sind rasant auf dem Vormarsch, aber die allgemeine Robotik – oder physische KI – hinkt hinterher, was vor allem auf einen Mangel an Rich-Media-Ressourcen zurückzuführen ist.

Bessemer Ventures stellte fest, dass LLM-Entwickler vom Scraping von Milliarden öffentlicher Webseiten profitieren, ein Luxus, der für Vision-Language-Action (VLA)-Modelle, die in physischen Räumen interpretieren und agieren müssen, nicht verfügbar ist.

VLA-Modelle nehmen Umweltdaten auf, verarbeiten sie und reagieren dann. Sie zu trainieren bietet drei Hauptwege:

• Teleoperation – Menschliche Bediener ahmen Roboteraktionen in einem kontrollierten Anzug nach. Obwohl es Daten höchster Qualität liefert, ist es unerschwinglich teuer und langsam, was eine groß angelegte Bereitstellung unpraktisch macht.
• Open-Web-Videos – leicht verfügbar, aber chaotisch, es mangelt an konsistenten Umgebungen, räumlicher Telemetrie und direkter Aktionskonditionierung.
• Synthetische Daten – ein Mittelweg, doch aktuelle Physik-Engines reichen nicht für die Nuancen der realen Welt aus, was zu der sogenannten sim-to-real-Lücke führt .

Diese Lücke manifestiert sich, wenn reale Zufälligkeiten – Ölverschmutzungen, zerbrechliche Verpackungen, unerwartete Trümmer – autonome Systeme aus dem Gleichgewicht bringen und ihre Grenzen offenbaren.

Schließen Sie die Lücke mit generativen Simulationen mit geschlossenem Regelkreis

Decart behauptet, dass Oasis3 bestehende Grenzen des virtuellen Trainings überwindet, indem es fotorealistische Bewegungsgrafiken mit einer robusten Physik-Engine verbindet.

Eingebettet in eine einzige Hochleistungs-Trainingsschleife erzeugt Oasis3 aktionsbedingte Videostreams, die praktisch jedes chaotische Szenario erzeugen können, das sich Entwickler vorstellen, und so eine Trainingsumgebung schaffen, die der Realität möglichst nahe kommt.

Die Plattform unterstützt ultrarealistische Multiview-Umgebungen, die vollständig steuerbar sind. Die seitliche Abweichung eines selbstfahrenden Autos löst einen generativen Strom aus, der die Perspektiven in weniger als 200 ms anpasst – was den Anforderungen des verstärkenden Lernens durchaus entspricht.

Oasis3 wurde gemeinsam mit dem physischen KI-Ökosystem von Nvidia entwickelt und läuft auf der speziellen Cloud-Infrastruktur von CoreWeave mit 22 Bildern pro Sekunde und liefert interaktive virtuelle Umgebungen mit einer Auflösung von 512 x 768 x 3.

Es bietet eine native Drei-Kamera-Ansicht, um die räumliche und zeitliche Konsistenz aus mehreren Blickwinkeln zu wahren und es autonomen Systemen zu ermöglichen, die Tiefe und den peripheren Kontext genau einzuschätzen.

Auf Oasis3 kann über die API von Decart zugegriffen werden, sodass Entwickler es nahtlos in ihre bestehenden physischen KI-Simulationspipelines integrieren können.

Trainieren Sie Roboter, um Neuland zu erobern

Um Humanoide auf Science-Fiction-Niveau zu erreichen, müssen Roboter geschult werden, um einzigartige Randfälle in Echtzeit zu bewältigen – Situationen, die in einem Labor nicht nachgebildet werden können, wie zum Beispiel, dass eine Last auf eine Straße fällt, während die Kamera eines autonomen Fahrzeugs durch Schlamm verdeckt wird.

Mit Oasis3 können Entwickler mithilfe einfacher Eingabeaufforderungen in natürlicher Sprache unendlich viele Variationen solcher Ereignisse erstellen, die verschiedene Winkel, Wetterbedingungen und Straßenoberflächen umfassen.

Indem Entwickler Modelle kostengünstig Millionen von Gefahren aussetzen, können sie sicherstellen, dass sie für jedes plausible reale Szenario gerüstet sind.