CMU-Forscher trainieren autonome Drohnen mit modalübergreifenden simulierten Daten

Um autonom fliegen zu können, müssen Drohnen verstehen, was sie in der Umgebung wahrnehmen, und auf der Grundlage dieser Informationen Entscheidungen treffen. (Siehe Video unten.)

Eine neuartige Methode, die von Forschern der Carnegie Mellon University entwickelt wurde, ermöglicht es Drohnen, Wahrnehmung und Aktion getrennt zu lernen.

Der zweistufige Ansatz überwindet die „Simulation-to-Reality-Lücke“ und schafft eine Möglichkeit, Drohnen, die vollständig auf simulierten Daten trainiert wurden, sicher in der realen Kursnavigation einzusetzen.

Rogerio Bonatti, Doktorand am Robotics Institute der School of Computer Science, sagt:„Normalerweise scheitern Drohnen, die selbst mit den besten fotorealistisch simulierten Daten trainiert wurden, in der realen Welt, weil die Beleuchtung, Farben und Texturen immer noch zu unterschiedlich sind, um sie zu übersetzen.“ P>

„Unser Wahrnehmungsmodul wird mit zwei Modalitäten trainiert, um die Robustheit gegenüber Umweltschwankungen zu erhöhen.“

Die erste Modalität, die dabei hilft, die Wahrnehmung der Drohne zu trainieren, ist das Bild. Die Forscher verwendeten einen fotorealistischen Simulator, um eine Umgebung zu erstellen, die die Drohne, ein Fußballfeld und rote quadratische Tore umfasste, die vom Boden erhoben und zufällig positioniert wurden, um eine Strecke zu erstellen.

Anschließend erstellten sie einen großen Datensatz simulierter Bilder aus Tausenden zufällig generierter Drohnen- und Gate-Konfigurationen.

Die zweite für die Wahrnehmung erforderliche Modalität ist die Kenntnis der Position und Ausrichtung der Tore im Raum, was die Forscher mithilfe des Datensatzes simulierter Bilder erreichten.

Das Unterrichten des Modells mit mehreren Modalitäten verstärkt eine robuste Darstellung der Drohnenerfahrung, was bedeutet, dass es die Essenz des Feldes und der Tore auf eine Weise verstehen kann, die von der Simulation in die Realität übersetzt wird.

Das Komprimieren von Bildern mit weniger Pixeln unterstützt diesen Prozess. Das Lernen aus einer niedrigdimensionalen Darstellung ermöglicht es dem Modell, das visuelle Rauschen in der realen Welt zu durchschauen und die Tore zu identifizieren.

Mit erlernter Wahrnehmung setzen die Forscher die Drohne in der Simulation ein, damit sie ihre Kontrollpolitik lernen kann – oder wie sie sich physisch bewegt.

In diesem Fall lernt es, welche Geschwindigkeit anzuwenden ist, während es den Kurs navigiert und auf jedes Tor trifft. Da es sich um eine simulierte Umgebung handelt, kann ein Programm die optimale Flugbahn der Drohne vor dem Einsatz berechnen.

Diese Methode bietet einen Vorteil gegenüber dem manuell überwachten Lernen mit einem erfahrenen Bediener, da Lernen in der realen Welt gefährlich, zeitaufwändig und teuer sein kann.

Die Drohne lernt, den Kurs zu navigieren, indem sie die von den Forschern vorgegebenen Trainingsschritte durchläuft. Bonatti sagte, er fordert bestimmte Beweglichkeiten und Richtungen heraus, die die Drohne in der realen Welt benötigen wird.

Bonatti sagt:„Ich lasse die Drohne in verschiedenen Spurformen nach links und rechts drehen, was schwieriger wird, wenn ich mehr Lärm hinzufüge. Der Roboter lernt nicht, das Durchlaufen einer bestimmten Strecke nachzubilden.

„Durch die strategische Lenkung der simulierten Drohne lernt sie vielmehr alle Elemente und Bewegungsarten, um autonom Rennen zu fahren.“

Bonatti möchte die aktuelle Technologie vorantreiben, um sich der Fähigkeit des Menschen anzunähern, Umwelthinweise zu interpretieren.

Er sagt:„Der größte Teil der Arbeit an autonomen Drohnenrennen konzentrierte sich bisher auf die Entwicklung eines Systems, das mit zusätzlichen Sensoren und Software mit dem einzigen Ziel der Geschwindigkeit erweitert wurde.

„Stattdessen wollten wir ein von der Funktion eines menschlichen Gehirns inspiriertes Computergewebe schaffen, um visuelle Informationen den richtigen Steuerungsaktionen zuzuordnen, die eine latente Repräsentation durchlaufen.“

Aber Drohnenrennen sind nur eine Möglichkeit für diese Art des Lernens. Die Methode der Trennung von Wahrnehmung und Steuerung ließe sich auf viele verschiedene Aufgaben der Künstlichen Intelligenz wie Autofahren oder Kochen anwenden.

Während sich dieses Modell auf Bilder und Positionen stützt, um die Wahrnehmung zu lehren, könnten andere Modalitäten wie Geräusche und Formen für Bemühungen wie die Identifizierung von Autos, Wildtieren oder Objekten verwendet werden

Zu den an dieser Arbeit beteiligten Forschern gehören Sebastian Scherer von Carnegie Mellon sowie Ratnesh Madaan, Vibhav Vineet und Ashish Kapoor von der Microsoft Corporation.

Das Papier, Learning Visuomotor Policies for Aerial Navigation Using Cross-Modal Representations , wurde zur International Conference on Intelligent Robots and Systems 2020 angenommen.

Der Code des Papiers ist Open Source und steht anderen Forschern zur Verfügung.