Weicher Sensor erhöht die Fingerspitzenempfindlichkeit für Roboter

In einem Artikel, der in Nature Machine Intelligence veröffentlicht wurde stellte ein Team von Wissenschaftlern am Max-Planck-Institut für Intelligente Systeme (MPI-IS) einen robusten Soft-Haptic-Sensor namens „Insight“ vor, der Computervision und ein tiefes neuronales Netzwerk nutzt, um genau abzuschätzen, wo und wie Objekte mit dem Sensor in Kontakt kommen groß sind die aufgebrachten Kräfte. Das Forschungsprojekt ist ein bedeutender Schritt dahin, dass Roboter ihre Umwelt so genau ertasten können wie Menschen und Tiere. Wie sein natürliches Pendant ist der Fingerspitzensensor sehr empfindlich, robust und hochauflösend.

Der daumenförmige Sensor besteht aus einer weichen Schale, die um ein leichtes, steifes Skelett herum aufgebaut ist. Dieses Skelett hält die Struktur ähnlich wie Knochen das weiche Fingergewebe stabilisieren. Die Schale besteht aus einem Elastomer, das mit dunklen, aber reflektierenden Aluminiumflocken gemischt ist, was zu einer undurchsichtigen gräulichen Farbe führt, die verhindert, dass externes Licht eindringt. In dieser fingergroßen Kappe versteckt sich eine winzige 160-Grad-Fischaugenkamera, die aufzeichnet farbenfrohe Bilder, die von einem LED-Ring beleuchtet werden.

Verwandte Artikel

Weicher taktiler Sensor mit hautähnlichen Eigenschaften für Roboter

Weicher Sensor handhabt den Druck

Wenn Objekte das Gehäuse des Sensors berühren, ändert sich das Erscheinungsbild des Farbmusters im Inneren des Sensors. Die Kamera nimmt viele Male pro Sekunde Bilder auf und speist diese Daten in ein tiefes neuronales Netzwerk. Der Algorithmus erkennt selbst kleinste Lichtveränderungen in jedem Pixel. Innerhalb von Sekundenbruchteilen kann das trainierte Machine-Learning-Modell kartieren, wo genau der Finger ein Objekt berührt, bestimmen, wie stark die Kräfte sind, und die Kraftrichtung angeben. Das Modell leitet ab, was Wissenschaftler eine Kraftkarte nennen:Es liefert einen Kraftvektor für jeden Punkt in der dreidimensionalen Fingerspitze.

„Wir haben diese hervorragende Sensorleistung durch das innovative mechanische Design der Hülle, das maßgeschneiderte Bildgebungssystem im Inneren, die automatische Datenerfassung und das hochmoderne Deep Learning erreicht“, sagte Georg Martius, Max-Planck-Forschungsgruppenleiter am MPI-IS, wo er leitet die Gruppe Autonomes Lernen. „Unsere einzigartige Hybridstruktur aus einer weichen Hülle, die ein steifes Skelett umschließt, sorgt für hohe Sensibilität und Robustheit. Unsere Kamera kann selbst kleinste Verformungen der Oberfläche aus einem einzigen Bild erkennen“, ergänzt sein Ph.D. Studentin Huanbo Sun. Beim Testen des Sensors stellten die Forscher fest, dass er empfindlich genug war, um seine eigene Ausrichtung relativ zur Schwerkraft zu fühlen.

Doch wie lernt so ein Sensor? Huanbo Sun entwarf ein Testbed, um die Trainingsdaten zu generieren, die für das maschinelle Lernmodell benötigt werden, um die Korrelation zwischen der Änderung der Rohbildpixel und den aufgebrachten Kräften zu verstehen. Der Prüfstand tastet den Sensor rundum an seiner Oberfläche ab und zeichnet den wahren Kontaktkraftvektor zusammen mit dem Kamerabild im Inneren des Sensors auf. Auf diese Weise wurden etwa 200.000 Messungen generiert. Es dauerte fast drei Wochen, um die Daten zu sammeln, und einen weiteren Tag, um das maschinelle Lernmodell zu trainieren. Das Überleben dieses langen Experiments mit so vielen verschiedenen Kontaktkräften hat dazu beigetragen, die Robustheit des mechanischen Designs von Insight zu beweisen, und Tests mit einer größeren Sonde haben gezeigt, wie gut das Sensorsystem verallgemeinert werden kann.

Eine weitere Besonderheit des daumenförmigen Sensors ist, dass er eine nagelförmige Zone mit einer dünneren Elastomerschicht besitzt. Diese taktile Fovea wurde entwickelt, um selbst winzige Kräfte und detaillierte Objektformen zu erkennen. Für diese supersensible Zone wählen die Wissenschaftler eine Elastomerdicke von 1,2 mm statt der 4 mm, die sie für den Rest des Fingersensors verwendet haben.

„Das Hard- und Softwaredesign, das wir in unserer Arbeit vorstellen, lässt sich auf verschiedenste Roboterteile mit unterschiedlichen Formen und Präzisionsanforderungen übertragen. Die Machine-Learning-Architektur, das Training und der Inferenzprozess sind alle allgemein und können auf viele andere Sensordesigns angewendet werden“, sagte Huanbo Sun.