KI kann jetzt ohne Karte durch unbekannte Umgebungen navigieren

• Forscher von Facebook AI entwickeln einen neuen Reinforcement-Learning-Algorithmus namens DD-PPO.
• Es kann durch komplexe Umgebungen navigieren und verwendet nur Kompassdaten, RGB-D-Kamera und GPS.

Die Entwicklung intelligenter Maschinen, die intelligent mit der physischen Welt interagieren, ist ein langfristiges Ziel der KI-Community. Die größte Herausforderung besteht darin, diesen Maschinen beizubringen, dass sie effizient durch komplexe, unbekannte Umgebungen navigieren können, ohne eine Karte zu verwenden.

Normalerweise veralten reale Karten innerhalb von Monaten, wenn sich Gebäude und Strukturen ändern und Objekte verschoben werden. Aus diesem Grund ist es unbedingt erforderlich, eine KI für die physische Welt zu entwickeln, die ohne Karte navigieren kann.

Vor diesem Hintergrund haben die Forscher von Facebook AI einen neuen Reinforcement-Learning-Algorithmus (RL) entwickelt, der die Punkt-Ziel-Navigationsaufgabe effektiv löst, indem er nur Kompassdaten, RGB-D-Kamera und GPS verwendet. Dieser groß angelegte Algorithmus wird DD-PPO (dezentralisierte verteilte proximale Richtlinienoptimierung) genannt.

Neue verteilte RL-Architektur skaliert gut

Heutzutage sind auf maschinellem Lernen basierende Systeme in der Lage, menschliche Experten in verschiedenen komplexen Spielen zu übertreffen. Da diese Systeme jedoch auf eine riesige Menge an Trainingsbeispielen angewiesen sind, ist es ziemlich unmöglich, sie ohne groß angelegte, verteilte Parallelisierung zu erstellen.

Die aktuelle verteilte Reinforcement-Learning-Architektur – umfasst Tausende von Workern (CPUs) und einen einzelnen Parameterserver – lässt sich nicht gut skalieren. Aus diesem Grund haben die Forscher eine synchrone, verteilte Verstärkungslerntechnik vorgeschlagen.

DD-PPO läuft auf mehreren Rechnern und hat keinen Parameterserver. Jeder Worker (CPU) wechselt zwischen dem Sammeln von Erfahrungen in einer GPU-beschleunigten, ressourcenintensiven simulierten Umgebung und der Optimierung des Modells. In einem expliziten Kommunikationsstatus synchronisieren alle Worker ihre Aktualisierungen mit dem Modell. Mit anderen Worten, die Verteilung ist synchron.

Alle Mitarbeiter simulieren einen Agenten, der eine Punkt-Ziel-Navigation durchführt, optimieren dann das Modell und synchronisieren ihre Updates | So werden Daten während des Trainings mit DD-PPO geteilt 

Mit diesem Ansatz zeigte DD-PPO eine nahezu lineare Skalierung:Es konnte auf 128 GPUs im Vergleich zu einer seriellen Implementierung eine Geschwindigkeit von 107 Mal erreichen.

Referenz:arXiv:1911.00357 | Facebook-KI

Nahezu perfekte Punkt-Ziel-Navigation

Bei der Punkt-Ziel-Navigation wird ein Agent auf eine zufällige Anfangsposition/-ausrichtung in einer unbekannten Umgebung gesetzt und beauftragt, zu Zielkoordinaten zu navigieren, ohne eine Karte zu verwenden. Es kann nur einen Kompass, GPS und entweder eine RGB- oder RGB-D-Kamera verwenden.

Die Forscher nutzten die Skalierungsfunktion von DD-PPO, um den Agenten für 2,5 Milliarden Schritte zu trainieren, was 80 Jahren menschlicher Erfahrung entspricht. Statt in Monaten wurde das Training mit 64 GPUs in weniger als drei Tagen abgeschlossen.

Die Ergebnisse zeigten, dass 90 % der Spitzenleistung in den ersten 100 Millionen Schritten mit weniger Rechenressourcen (8 GPUs) erreicht wurden. Mit Milliarden von Erfahrungsschritten erreicht der Agent eine Erfolgsquote von 99,9 %. Im Gegensatz dazu erreichten frühere Systeme eine Erfolgsquote von 92 %.

Der Agent geht zurück, nachdem er den falschen Pfad gewählt hat, um zu seiner Zielposition zu gelangen | Mit freundlicher Genehmigung der Forscher 

Anwendungen

Diese KI-Agenten können Menschen in der physischen Welt unterstützen. Sie könnten beispielsweise Benutzern, die eine Augmented-Reality-Brille tragen, relevante Informationen anzeigen, Roboter können Gegenstände von einem Schreibtisch im Obergeschoss holen und KI-gestützte Systeme können Menschen mit Sehbehinderungen helfen.

Die in dieser Studie gebauten Modelle können in üblichen Umgebungen eingesetzt werden, beispielsweise in Labors und Bürogebäuden, in denen keine zusätzlichen Datenpunkte (Karten und GPS-Daten) verfügbar sind.

Lesen Sie:Facebook entwickelt KI, die in der Lage ist, die Stimme aller mit beispielloser Genauigkeit zu kopieren

Obwohl das Modell die von ImageNet vortrainierten konvolutionellen neuronalen Netze übertrifft und als universelle Ressource dienen kann, gibt es noch viel zu tun, um Systeme zu entwickeln, die lernen, durch komplexe Umgebungen zu navigieren. Forscher untersuchen derzeit neue Ansätze, um eine reine RGB-Punkt-Ziel-Navigation zu implementieren.