SonicSense: Roboter hören wie Menschen für intelligentere Interaktion

Duke University: Akustische Vibrationssensorik für Roboterhände

Neue Forschung der Duke University stellt SonicSense vor: System, das Robotern Interaktion mit Umgebung ermöglicht – bisher Menschen vorbehalten.

„Roboter nutzen heute meist Vision zur Weltinterpretation“, erklärt Erstautor Jiaxun Liu (Ph.D.-Student, Labor von Boyuan Chen, Prof. Mechanical Engineering & Materials Science, Duke). „Wir wollten Lösung für komplexe, diverse Alltagsobjekte – Robotern reichhaltigere Fähigkeit zu ‚fühlen‘ und Verstehen geben.“

Hardware: Roboterhand mit Kontaktmikrofonen

Vier Finger, jeder mit Kontaktmikrofon in der Fingerspitze. Sensoren detektieren/zeichnen Vibrationen auf, wenn Roboter antipft, greift, schüttelt. Mikrofone im Kontakt mit Objekt → Umgebungsgeräusche ausgeblendet.

Software: KI-gestützte Material- & Formerkennung

Basierend auf Interaktionen/Signalen extrahiert SonicSense Frequenzmerkmale, nutzt Vorwissen + KI-Fortschritte → Materialbestimmung & 3D-Form. Neues Objekt: ~20 Interaktionen für Schlussfolgerung. Bekanntes Objekt: Identifikation in nur 4 Interaktionen.

Exklusives Tech-Briefs-Interview mit Boyuan Chen

Größte technische Herausforderung

Chen: Kaum umfangreiche Studien zu akustischen Vibrationen für Roboterwahrnehmung. Bisher: Einzelfinger oder vorläufig. Echte Roboterhand + Interaktion mit vielfältigen Objekten = nicht trivial.

Projektentstehung: Vom „Boombox“-Projekt während COVID

Chen: Interessante Geschichte. Teil 1: „Boombox“ während COVID. Wollte an Robotern + Vision arbeiten. Schon vor Jahren Interesse: akustische Vibrationen in Sensing einbringen (wir nutzen akustische Vibrationen viel). Neurowissenschaft: menschliche Haut hat Vibrationsneuronen. Gelesen, überlegt: Wie zu Robotern bringen? Während COVID: Kein Roboterzugriff. Promovierte an Columbia, wohnte in kleinem NYC-Dorm. Zufällige Idee: „Was kann ich OHNE Roboter zeigen, dass das hilft?“

Spielzeugkiste im Zimmer. Zufällig Objekte hineingeworfen. „Hey, ich muss Objekt holen, weiß nicht wo. Was habe ich reingeworfen?“ Perfekte Forschungsfrage.

Drei Holzkisten, verschiedene Formen → in Kiste geworfen. KI trainiert: Form vorhersagen + Endposition nach Wurf (weil nicht sichtbar). 4 Kontaktmikrofone an Kistenwänden. Nur akustische Vibrationen von 4 Kanälen aufgezeichnet. Gitarren-Pickup-Mikrofone an Kiste geklebt. System trainiert: Sound → 3D-Operationsvorhersage. Geburtsstunde von SonicSense.

Dann: Für Roboter umsetzen.

Funktionsweise einfach erklärt

Chen: Integriertes Hardware-Software-System. Hardware: Robotergreifer mit 4 Fingern, jeder Fingerspitze mit eingebettetem Kontaktmikrofon. Mikrofon nimmt nicht Sprache, sondern Vibrationen physikalischen Kontakts auf.

Software: Roboter erkundet Umgebung autonom durch einfaches Antippen, Greifen, Schütteln von Objekt/Behälter. Software sammelt Signale von 4 Kontaktmikrofonen + Motorsignalen.

KI-Netzwerk trainiert auf Vorhersagen: „Wie viele Würfel im Behälter? Wie viele Kanten hat dieser Würfel? Wie viel Flüssigkeit in Flasche? Wie viel gießt du in anderen Behälter?“

Nächste Schritte

Chen: Drei Richtungen:

1. Weitere Sensing-Modalitäten für menschliche Dexterity: Was brauchen wir für menschliches Manipulationsniveau? Auch für Locomotion, Navigation – nicht nur Manipulation. Neue Modalitäten, die Robotern Fähigkeiten geben, die sogar Menschen/Tiere nicht haben.
2. Multimodale Fusion: Bestehende Modalitäten (z. B. Vision) – wie alle zusammenführen für kohärentes Weltverständnis statt Einzelsicht? Viele Sensoren → unified understanding.
3. Skalierung zu menschlicher Manipulation: Aktuelles Design = Prototyp. Morphologie & Sensing-Kapazität der Hand auf größere Skala bringen. Viele Sensoren an menschenähnlicherer Hand → echte dextröse Manipulation demonstrieren. Bisher: Objektwahrnehmung. Ziel: Objekte mit fortgeschrittenen Fähigkeiten manipulieren.

Transkript-Auszug (Technische Details)

SonicSense: integriertes Hardware-Software-Framework für akustische Vibrationssensorik → reichhaltige Roboter-Objektwahrnehmung. Bisher: wenige primitive Objekte, homogene Materialien, constrained Settings, Einzelfinger-Test. Unklar: Nützlichkeit unter rauschenden, weniger kontrollierten Bedingungen.

Design: 4 Finger, piezoelektrisches Kontaktmikrofon in jeder Fingerspitze, Gegengewicht an Außenschale für Fingerbewegungs-Impuls. Mechanisches Design ermöglicht Interaktionsprimitive: Antippen, Greifen, Schütteln. Eingebettetes Mikrofon sammelt hochfrequente akustische Vibrationen aus Objekt-Objekt-/Objekt-Hand-Interaktionen.

Roboterschluss auf Geometrie/Inventarstatus von Objekten in Behältern aus einzigartigen akustischen Signaturen während Interaktion. 12 interpretierbare Features (traditionelle akustische Signalverarbeitung) → Unterscheidung akustischer Signaturen. Unüberwachtes nichtlineares Dimensionsreduktion (t-SNE) auf 12D-Featurevektor. Schütteln des Behälters → Unterscheidung verschiedener Würfelzahlen/Formen. Wasser in Flasche → subtile akustische Unterschiede bei vorhandenem/gegossenem Wasser.

Herausfordernde Aufgaben: Datensatz mit 83 diversen Real-World-Objekten (9 Materialkategorien, diverse Geometrien: Primitiven bis komplexe Formen). Im Gegensatz zu vorher: Menschen halten Roboterhand nicht manuell, keine festen Interaktionsposen/Kräfte für Replay. Heuristische Interaktionspolicy für autonome akustische Datensammlung. Funktioniert für alle Real-World-Objekte (variable Größen/Geometrien).

Materialklassifikation: Mel-Spektrogramm von Impakt-Sound → Materiallabel. Netzwerk: 3 CNN-Layer + 2 MLP-Layer. Initial: F1-Score 0,523. Annahme: Materialien lokal einheitlich/glatt → iterative Verfeinerung → finaler durchschnittlicher F1-Score 0,763.

Formrekonstruktion: Sparse/noisy Kontaktpunkte → dichtes, komplettes 3D-Shape. 2 PointNet-Layer encoden Input → globaler Feature-Vektor → Decoder (fully connected) → Point Cloud. Durchschnittlicher Chamfer-Distance-Score 0,876. Primitive Formen: near-perfect. Komplexe Formen: Rekonstruktion nur durch sparse/noisy Kontaktpunktschätzung.

Objekt-Re-Identifikation: Nach Interaktion mit akustischer Antwort → 15 neue Antipp-Interaktionen → 15 Mel-Spektrogramme + Kontaktpunkte → Label-Vorhersage unter 82 Objekten. >92 % Genauigkeit. Starke Resistenz gegen Umgebungsgeräusche – Fokus nur auf Vibrationssignale durch physischen Kontakt → hochwertige, zuverlässige Sensordaten unter schwierigen Bedingungen.

Gesamter Roboterhand-Kosten: 215 $ (kommerzielle Komponenten + 3D-Druck). Experimentelle Ergebnisse belegen Vielseitigkeit/Wirksamkeit: Festkörper-/Flüssigkeitsobjekt-Inventarstatus in Behältern, Materialklassifikation, 3D-Formrekonstruktion, Objekt-Re-Identifikation. Einzigartige Beiträge zu taktiler Wahrnehmung mit akustischen Vibrationen → neue Chancen für zukünftige Roboterdesigns: robustes, komplettes, vielseitiges, ganzheitliches Wahrnehmungsmodell der Welt.