Weiche Roboter verwenden Kamera und Schatten, um menschliche Berührungen zu erkennen

Forscher haben eine kostengünstige Methode für weiche, verformbare Roboter entwickelt, um eine Reihe physischer Interaktionen zu erkennen, von Streicheln über Schläge bis hin zu Umarmungen, ohne sich überhaupt auf Berührungen zu verlassen. Stattdessen erfasst eine im Inneren des Roboters befindliche USB-Kamera die Schattenbewegungen von Handgesten auf der Haut des Roboters und klassifiziert sie mit einer Software für maschinelles Lernen.

Berührung ist ein wichtiges Kommunikationsmittel für die meisten Organismen, fehlte jedoch praktisch in der Mensch-Roboter-Interaktion. Einer der Gründe ist, dass die Ganzkörperberührung früher eine große Anzahl von Sensoren erforderte und daher nicht praktikabel zu implementieren war.

Die ShadowSense-Technologie entstand aus der Arbeit an der Entwicklung aufblasbarer Roboter, die Menschen bei Notfallevakuierungen in Sicherheit bringen könnten. Ein solcher Roboter müsste in der Lage sein, unter extremen Bedingungen und Umgebungen mit Menschen zu kommunizieren. Stellen Sie sich einen Roboter vor, der jemanden physisch durch einen lauten, verrauchten Korridor führt, indem er den Druck der Hand der Person erkennt.

Anstatt eine große Anzahl von Kontaktsensoren zu installieren – die den Roboter schwerer und komplexer verkabeln würden und sich nur schwer in eine sich verformende Haut einbetten ließen – verfolgte das Team einen kontraintuitiven Ansatz. Um die Berührung einzuschätzen, schauten sie zum Sehen. Indem sie eine Kamera im Inneren des Roboters platzieren, können sie erkennen, wie die Person ihn berührt und was die Person beabsichtigt, indem sie einfach die Schattenbilder betrachten.

Der Prototyp-Roboter besteht aus einer weichen, aufblasbaren Blase aus Nylonhaut, die um ein zylindrisches Skelett von etwa 1,20 m Höhe gespannt ist, das auf einer mobilen Basis montiert ist. Unter der Haut des Roboters befindet sich eine USB-Kamera, die an einen Laptop angeschlossen wird. Die Forscher entwickelten einen auf neuronalen Netzwerken basierenden Algorithmus, der zuvor aufgezeichnete Trainingsdaten verwendet, um zwischen sechs Berührungsgesten – Berühren mit einer Handfläche, Schlagen, Berühren mit zwei Händen, Umarmen, Zeigen und überhaupt nicht berühren – mit einer Genauigkeit von 87,5 zu unterscheiden bis 96 %, je nach Beleuchtung.

Der Roboter kann so programmiert werden, dass er auf bestimmte Berührungen und Gesten wie Wegrollen oder eine Nachricht über einen Lautsprecher reagiert. Und die Haut des Roboters hat das Potenzial, sich in einen interaktiven Bildschirm zu verwandeln. Durch das Sammeln von genügend Daten könnte ein Roboter darauf trainiert werden, ein noch breiteres Vokabular von Interaktionen zu erkennen, das auf die Aufgabe des Roboters zugeschnitten ist.

Der Roboter muss nicht einmal ein Roboter sein. Die ShadowSense-Technologie kann in andere Materialien wie Ballons integriert werden und sie in berührungsempfindliche Geräte verwandeln. In Zukunft werden die Forscher versuchen, optische Geräte wie Linsen und Spiegel zu verwenden, um zusätzliche Formfaktoren zu ermöglichen.

ShadowSense bietet auch Privatsphäre. Wenn der Roboter einen Menschen nur in Form seines Schattens sehen kann, kann er erkennen, was die Person tut, ohne High-Fidelity-Bilder ihres Aussehens aufzunehmen. Dies bietet einen physischen Filter und Schutz und bietet psychologischen Komfort.

Die Fähigkeit, physisch zu interagieren und die Bewegungen und Stimmungen einer Person zu verstehen, könnte für die Person letztendlich genauso wichtig sein wie für den Roboter.