Insight: Weicher haptischer Sensor verbessert robotische Tastempfindlichkeit

In einer in Nature Machine Intelligence veröffentlichten Arbeit stellte ein Wissenschaftlerteam am Max-Planck-Institut für Intelligente Systeme (MPI-IS) einen robusten weichen haptischen Sensor namens „Insight“ vor, der Computer Vision und ein tiefes neuronales Netz nutzt, um präzise zu schätzen, wo Objekte den Sensor berühren und wie groß die aufgebrachten Kräfte sind. Das Forschungsprojekt ist ein signifikanter Schritt hin zu Robotern, die ihre Umgebung so präzise fühlen können wie Menschen und Tiere. Wie sein natürliches Gegenstück ist der Fingerspitzen-Sensor sehr empfindlich, robust und hochauflösend.

Aufbau: Weiche Schale um starres Skelett

Der daumenförmige Sensor besteht aus einer weichen Schale, die um ein leichtes, steifes Skelett gebaut ist. Dieses Skelett hält die Struktur ähnlich wie Knochen das weiche Fingergewebe stabilisieren. Die Schale besteht aus einem Elastomer, gemischt mit dunklen, aber reflektierenden Aluminiumflocken, was eine undurchsichtige graue Farbe ergibt, die jegliches externes Licht fernhält. In dieser fingerkuppengroßen Kappe verborgen ist eine winzige 160-Grad-Fisheye-Kamera, die farbige Bilder aufnimmt, beleuchtet von einem LED-Ring.

Funktionsweise: Bildänderung bei Berührung

Wenn Objekte die Sensorhülle berühren, ändert sich das Erscheinungsbild des Farbmusters im Inneren. Die Kamera nimmt Bilder pro Sekunde auf und speist ein tiefes neuronales Netz mit diesen Daten. Der Algorithmus detektiert selbst kleinste Lichtänderungen in jedem Pixel. Innerhalb eines Bruchteils einer Sekunde kann das trainierte ML-Modell genau kartieren, wo der Finger ein Objekt berührt, die Stärke der Kräfte bestimmen und die Kraftrichtung anzeigen. Das Modell leitet ab, was Wissenschaftler eine Kraftkarte nennen: Es liefert einen Kraftvektor für jeden Punkt im dreidimensionalen Fingertipp.

„Wir erreichten diese exzellente Sensingleistung durch das innovative mechanische Design der Schale, das maßgeschneiderte Bildgebungssystem innen, automatische Datenerfassung und modernstes Deep Learning“, sagte Georg Martius, Max-Planck-Forschungsgruppenleiter am MPI-IS, wo er die Autonomous Learning Group leitet. „Unsere einzigartige Hybridstruktur aus weicher Schale, die ein steifes Skelett umschließt, gewährleistet hohe Sensitivität und Robustheit. Unsere Kamera kann selbst geringste Verformungen der Oberfläche aus einem einzigen Bild detektieren“, fügte sein Doktorand Huanbo Sun hinzu. Beim Testen stellten die Forscher fest, dass der Sensor empfindlich genug war, um seine eigene Orientierung relativ zur Schwerkraft zu spüren.

Training: 200.000 Messungen in drei Wochen

Wie lernt ein solcher Sensor? Huanbo Sun entwarf einen Teststand, um die Trainingsdaten zu generieren, die das ML-Modell benötigt, um die Korrelation zwischen Rohbildpixeländerungen und aufgebrachten Kräften zu verstehen. Der Teststand tastet den Sensor rundum ab und zeichnet den wahren Kontaktkraftvektor zusammen mit dem Kamerabild im Sensor auf. So wurden etwa 200.000 Messungen generiert. Die Datenerfassung dauerte fast drei Wochen, das Training des ML-Modells einen Tag. Das Überleben dieses langen Experiments mit so vielen verschiedenen Kontaktkräften bewies die Robustheit von Insights mechanischem Design, und Tests mit einem größeren Tastkopf zeigten, wie gut das Sensorsystem generalisiert.

Taktile Fovea: Nagelzone mit dünnerer Elastomerschicht

Ein weiteres besonderes Merkmal des daumenförmigen Sensors ist eine nagelförmige Zone mit dünnerer Elastomerschicht. Diese taktile Fovea ist darauf ausgelegt, winzigste Kräfte und detaillierte Objektformen zu detektieren. Für diese supersensible Zone wählten die Wissenschaftler eine Elastomerstärke von 1,2 mm statt der 4 mm am Rest des Fingersensors.

„Das Hardware- und Software-Design, das wir in unserer Arbeit präsentieren, kann auf eine Vielzahl von Roboterteilen mit unterschiedlichen Formen und Präzisionsanforderungen übertragen werden. Die ML-Architektur, das Training und der Inferenzprozess sind alle allgemein und auf viele andere Sensordesigns anwendbar“, sagte Huanbo Sun.