Duke University KI-System verleiht Robotern menschenähnliches Sensing für sicherere Navigation

Duke University, Durham, NC

WildFusion nutzt eine Kombination aus Sehen, Tasten, Hören und Gleichgewicht, um vierbeinigen Robotern zu helfen, schwieriges Gelände wie dichte Wälder besser zu navigieren.

Multisensorische Navigation wie beim Menschen

Der Reichtum an Informationen, den unsere Sinne unserem Gehirn liefern, um die Welt um uns zu navigieren, ist bemerkenswert. Tasten, Riechen, Hören und ein starker Gleichgewichtssinn sind entscheidend, um durch scheinbar einfache Umgebungen wie eine entspannte Wochenendwanderung zu kommen.

Ein angeborenes Verständnis des Blätterdachs über uns hilft uns, den Weg zu finden. Das scharfe Knacken von Zweigen oder das weiche Moospolster informiert uns über die Standsicherheit. Der Donner eines fallenden Baums oder tanzende Äste im starken Wind warnen uns vor potenziellen Gefahren in der Nähe.

Roboter hingegen haben lange ausschließlich auf visuelle Informationen wie Kameras oder LiDAR gesetzt, um sich durch die Welt zu bewegen. Außerhalb Hollywoods blieb multisensorische Navigation für Maschinen lange eine Herausforderung. Der Wald mit seinem schönen Chaos aus dichtem Unterholz, umgestürzten Stämmen und sich ständig änderndem Terrain ist ein Labyrinth der Ungewissheit für traditionelle Roboter.

WildFusion: Fusion aus Vision, Vibration und Touch

Forscher der Duke University haben nun einen neuartigen Framework namens WildFusion entwickelt, der Vision, Vibration und Tasten fusioniert, um Robotern zu ermöglichen, komplexe Outdoor-Umgebungen ähnlich wie Menschen zu „erspüren“.

„WildFusion eröffnet ein neues Kapitel in roboter Navigation und 3D-Mapping“, sagt Boyuan Chen, Dickinson Family Assistant Professor of Mechanical Engineering and Materials Science, Electrical and Computer Engineering, and Computer Science an der Duke University. „Es hilft Robotern, selbstbewusster in unstrukturierten, unvorhersehbaren Umgebungen wie Wäldern, Katastrophenzonen und Offroad-Gelände zu operieren.“

„Typische Roboter verlassen sich stark auf Vision oder LiDAR allein, was oft scheitert, wenn klare Pfade oder vorhersehbare Landmarken fehlen“, fügt Yanbaihui Liu, Lead-Studentenautor und zweite-year Ph.D.-Student in Chens General Robotics Lab, hinzu. „Selbst fortschrittliche 3D-Mapping-Methoden kämpfen damit, eine kontinuierliche Karte zu rekonstruieren, wenn Sensordaten spärlich, rauschhaft oder unvollständig sind – ein häufiges Problem in unstrukturierten Outdoor-Umgebungen. Genau diese Herausforderung wurde WildFusion entwickelt, um zu lösen.“

Sensorfusion im Detail

WildFusion, aufgebaut auf einem Quadruped-Roboter, integriert multiple Sensing-Modalitäten: RGB-Kamera, LiDAR, Inertialsensoren und – besonders – Kontaktmikrofone und taktile Sensoren. Wie bei traditionellen Ansätzen erfassen Kamera und LiDAR Geometrie, Farbe, Distanz und andere visuelle Details der Umgebung. Was WildFusion besonders macht, ist die Nutzung akustischer Vibrationen und Tastsinn.

Während der Roboter läuft, zeichnen Kontaktmikrofone die einzigartigen Vibrationen jedes Schritts auf und erfassen subtile Unterschiede – wie das Knirschen trockener Blätter versus das weiche Quetschen von Schlamm. Gleichzeitig messen taktile Sensoren, wie viel Kraft auf jeden Fuß ausgeübt wird, was dem Roboter hilft, Stabilität oder Rutschigkeit in Echtzeit zu spüren. Diese zusätzlichen Sinne werden durch den Inertialsensor ergänzt, der Beschleunigungsdaten sammelt, um zu beurteilen, wie stark der Roboter wackelt, nickt oder rollt, während er unebenes Gelände durchquert.

Jeder Sensordatentyp wird dann durch spezialisierte Encoder verarbeitet und zu einer einzelnen, reichen Repräsentation fusioniert. Im Herzen von WildFusion liegt ein Deep-Learning-Modell basierend auf der Idee impliziter neuronaler Repräsentationen. Im Gegensatz zu traditionellen Methoden, die die Umgebung als Ansammlung diskreter Punkte behandeln, modelliert dieser Ansatz komplexe Oberflächen und Merkmale kontinuierlich, was dem Roboter erlaubt, intelligentere, intuitivere Entscheidungen darüber zu treffen, wohin er tritt – selbst wenn seine Vision blockiert oder mehrdeutig ist.

„Stellen Sie sich vor, ein Puzzle zu lösen, bei dem einige Teile fehlen, Sie aber dennoch intuitiv das vollständige Bild vorstellen können“, erklärt Chen. „WildFusions multimodaler Ansatz lässt den Roboter ‚Lücken füllen‘, wenn Sensordaten spärlich oder rauschhaft sind – ähnlich wie Menschen es tun.“

Reale Tests im Eno River State Park

WildFusion wurde im Eno River State Park in North Carolina nahe Dukes Campus getestet und half einem Roboter erfolgreich, dichte Wälder, Grasland und Kieswege zu navigieren. „Dem Roboter dabei zuzusehen, wie er selbstbewusst durch das Gelände navigierte, war unglaublich lohnend“, teilte Liu mit.

„Diese Realwelt-Tests bewiesen WildFusions bemerkenswerte Fähigkeit, Befahrbarkeit präzise vorherzusagen, was die Entscheidungsfindung des Roboters auf sicheren Wegen durch anspruchsvolles Gelände signifikant verbesserte“, sagte Liu.

Für die Zukunft plant das Team, das System durch zusätzliche Sensoren wie thermische oder Feuchtigkeitsdetektoren zu erweitern, um die Fähigkeit eines Roboters, komplexe Umgebungen zu verstehen und sich anzupassen, weiter zu verbessern. Mit seinem flexiblen modularen Design bietet WildFusion großes Potenzial für Anwendungen jenseits von Waldpfaden, einschließlich Katastrophenreaktion in unvorhersehbarem Terrain, Inspektion entfernter Infrastruktur und autonomer Exploration. „Eine der zentralen Herausforderungen für Robotik heute ist die Entwicklung von Systemen, die nicht nur im Labor gut performen, sondern zuverlässig in realen Umgebungen funktionieren“, sagt Chen. „Das bedeutet Roboter, die sich anpassen, Entscheidungen treffen und weiterbewegen können.“

Für weitere Informationen kontaktieren Sie Boyuan Chen unter boyuan.chen@duke.edu.