Das KI-System der Duke University verleiht Robotern menschenähnliche Sensoren für eine sicherere Navigation

Duke University, Durham, NC

WildFusion nutzt eine Kombination aus Sicht, Berührung, Ton und Gleichgewicht, um vierbeinigen Robotern dabei zu helfen, sich in schwierigem Gelände wie dichten Wäldern besser zurechtzufinden. (Bild:Duke University)

Die Fülle an Informationen, die unsere Sinne liefern und die es unserem Gehirn ermöglichen, sich in der Welt um uns herum zurechtzufinden, ist bemerkenswert. Fühlen, Riechen, Hören und ein ausgeprägter Gleichgewichtssinn sind entscheidend, um durch scheinbar einfache Umgebungen wie eine entspannte Wanderung an einem Wochenendmorgen zu kommen.

Ein angeborenes Verständnis für das Blätterdach über uns hilft uns herauszufinden, wohin der Weg führt. Das scharfe Knacken von Ästen oder das weiche Moospolster geben uns Aufschluss über die Stabilität unseres Standes. Das Donnern eines umstürzenden Baumes oder das Tanzen von Ästen im starken Wind weist uns auf potenzielle Gefahren in der Nähe hin.

Im Gegensatz dazu verlassen sich Roboter lange Zeit ausschließlich auf visuelle Informationen wie Kameras oder LiDAR, um sich durch die Welt zu bewegen. Außerhalb Hollywoods stellt die multisensorische Navigation seit langem eine Herausforderung für Maschinen dar. Der Wald mit seinem wunderschönen Chaos aus dichtem Unterholz, umgestürzten Baumstämmen und sich ständig veränderndem Gelände ist für traditionelle Roboter ein Labyrinth der Unsicherheit.

Jetzt haben Forscher der Duke University ein neuartiges Framework namens WildFusion entwickelt, das Sicht, Vibration und Berührung vereint, um es Robotern zu ermöglichen, komplexe Außenumgebungen ähnlich wie Menschen zu „erspüren“.

„WildFusion schlägt ein neues Kapitel in der Roboternavigation und 3D-Kartierung auf“, sagte Boyuan Chen, Assistenzprofessor der Dickinson Family für Maschinenbau und Materialwissenschaften, Elektrotechnik und Computertechnik sowie Informatik an der Duke University. „Es hilft Robotern, in unstrukturierten, unvorhersehbaren Umgebungen wie Wäldern, Katastrophengebieten und Gelände im Gelände sicherer zu agieren.“

„Typische Roboter verlassen sich stark auf Vision oder LiDAR allein, die oft ohne klare Wege oder vorhersehbare Orientierungspunkte ins Stocken geraten“, fügte Yanbaihui Liu, der Hauptautor der Studenten und Doktorand im zweiten Jahr, hinzu. Student in Chens General Robotics Lab. „Selbst fortschrittliche 3D-Kartierungsmethoden haben Schwierigkeiten, eine kontinuierliche Karte zu rekonstruieren, wenn die Sensordaten spärlich, verrauscht oder unvollständig sind, was in unstrukturierten Außenumgebungen häufig ein Problem darstellt. Genau diese Herausforderung wurde mit WildFusion gelöst.“

WildFusion basiert auf einem vierbeinigen Roboter und integriert mehrere Erfassungsmodalitäten, darunter eine RGB-Kamera, LiDAR, Trägheitssensoren und insbesondere Kontaktmikrofone und taktile Sensoren. Wie bei herkömmlichen Ansätzen erfassen die Kamera und das LiDAR die Geometrie, Farbe, Entfernung und andere visuelle Details der Umgebung. Das Besondere an WildFusion ist der Einsatz von akustischen Vibrationen und Berührungen.

Während der Roboter geht, zeichnen Kontaktmikrofone die einzigartigen Vibrationen auf, die bei jedem Schritt erzeugt werden, und erfassen so subtile Unterschiede, wie zum Beispiel das Knirschen trockener Blätter und das sanfte Quietschen von Schlamm. Gleichzeitig messen die taktilen Sensoren, wie viel Kraft auf jeden Fuß ausgeübt wird, und helfen dem Roboter, Stabilität oder Rutschfestigkeit in Echtzeit zu erkennen. Diese zusätzlichen Sinne werden auch durch den Trägheitssensor ergänzt, der Beschleunigungsdaten sammelt, um zu beurteilen, wie stark der Roboter wackelt, kippt oder rollt, während er unebenes Gelände überquert.

Jede Art von sensorischen Daten wird dann durch spezielle Encoder verarbeitet und zu einer einzigen, umfassenden Darstellung zusammengeführt. Das Herzstück von WildFusion ist ein Deep-Learning-Modell, das auf der Idee impliziter neuronaler Darstellungen basiert. Im Gegensatz zu herkömmlichen Methoden, die die Umgebung als eine Ansammlung diskreter Punkte behandeln, modelliert dieser Ansatz kontinuierlich komplexe Oberflächen und Merkmale und ermöglicht es dem Roboter, intelligentere und intuitivere Entscheidungen darüber zu treffen, wohin er treten soll, selbst wenn seine Sicht blockiert oder unklar ist.

„Stellen Sie sich das vor, als würden Sie ein Puzzle lösen, bei dem einige Teile fehlen, Sie sich aber intuitiv das Gesamtbild vorstellen können“, erklärte Chen. „Der multimodale Ansatz von WildFusion ermöglicht es dem Roboter, Lücken zu füllen, wenn Sensordaten spärlich oder verrauscht sind, ähnlich wie es Menschen tun.“

WildFusion wurde im Eno River State Park in North Carolina in der Nähe des Duke-Campus getestet und half einem Roboter dabei, sich erfolgreich durch dichte Wälder, Grasland und Schotterwege zu bewegen. „Zu beobachten, wie der Roboter souverän durch das Gelände navigiert, war unglaublich lohnend“, teilte Liu mit.

„Diese realen Tests haben die bemerkenswerte Fähigkeit von WildFusion bewiesen, die Befahrbarkeit genau vorherzusagen und die Entscheidungsfindung des Roboters auf sicheren Wegen durch anspruchsvolles Gelände erheblich verbessert“, sagte Liu.

Für die Zukunft plant das Team, das System durch die Integration zusätzlicher Sensoren wie Wärme- oder Feuchtigkeitsdetektoren zu erweitern, um die Fähigkeit eines Roboters, komplexe Umgebungen zu verstehen und sich an sie anzupassen, weiter zu verbessern. Mit seinem flexiblen, modularen Design bietet WildFusion weitreichende potenzielle Anwendungen, die über Waldwege hinausgehen, darunter Katastrophenhilfe in unvorhersehbarem Gelände, Inspektion abgelegener Infrastruktur und autonome Erkundung. „Eine der größten Herausforderungen für die Robotik ist heute die Entwicklung von Systemen, die nicht nur im Labor gute Leistungen erbringen, sondern auch in realen Umgebungen zuverlässig funktionieren“, sagte Chen. „Das bedeutet Roboter, die sich anpassen, Entscheidungen treffen und in Bewegung bleiben können.“

Für weitere Informationen wenden Sie sich bitte an Boyuan Chen unter Diese E-Mail-Adresse ist vor Spambots geschützt. Sie müssen JavaScript aktivieren, damit Sie es sehen können.