Ein Roboterbagger erkennt vergrabene Gegenstände mit den Fingern

Etwas am Strand verloren? Ein "Digger Finger" vom MIT gräbt sich durch Sand und Kies, um ein vergrabenes Objekt zu finden.

Ausgestattet mit taktiler Sensorik könnte das schlanke, ziffernähnliche Gerät eines Tages an einem Roboterarm montiert und dazu verwendet werden, unterirdische Kabel oder sogar Sprengstoffe aufzuspüren.

Die Forschungsergebnisse des MIT-Teams werden beim nächsten International Symposium on Experimental Robotics vorgestellt .

Um verschiedene 3D-gedruckte Objekte in Sand und grobkörnigem Reis zu erkennen, hat das Team des Computer Science and Artificial Intelligence Laboratory (CSAIL) des MIT seinen bestehenden taktilen Sensor namens GelSight verschlankt , Baujahr 2017.

Das ursprüngliche (und sperrigere) GelSight besteht aus einem durchsichtigen Gel, das mit einer reflektierenden Membran bedeckt ist, die sich verformt, wenn Gegenstände dagegen drücken (sehen Sie ein Beispiel für die Verformung im obigen Video ). Hinter dem Sensor befinden sich dreifarbige LED-Leuchten und eine Kamera.

Das Licht scheint durch das Gel auf die Membran, während die Kamera das Reflexionsmuster der Membran erfasst. Computer-Vision-Algorithmen extrahieren dann die 3D-Form des Kontaktbereichs, wo der weiche Finger das Objekt berührt.

Um die Größe des GelSight-Sensors an den Roboter-Digger-Finger anzupassen, begann das MIT-Team mit einem neuen Design:Die Forscher machten die Struktur zylindrischer und mit einer abgeschrägten Spitze.

Dann ersetzten die Ingenieure zwei Drittel der LED-Leuchten durch eine Kombination aus blauen LEDs und farbiger Leuchtfarbe. Das Endergebnis:ein Gerät in der Größe einer Fingerspitze mit einer taktilen Sensormembran von etwa 2 Quadratzentimetern.

Das Team verwendete mechanische Vibrationen, um den Reis und den Sand zu "verflüssigen", sodass der Digger graben konnte, ohne dass körniges Material die Maschinerie verstopfte.

„Wir wollten sehen, wie mechanische Vibrationen dabei helfen, tiefer zu graben und Staus zu überwinden“, sagte Radhen Patel, Postdoc am Computer Science and Artificial Intelligence Laboratory (CSAIL) des MIT . „Wir haben den Vibrationsmotor mit unterschiedlichen Betriebsspannungen betrieben, was die Amplitude und Frequenz der Vibrationen verändert.“

Eingeschlossener Sand war laut den Erfindern schwieriger zu entfernen als Reis, obwohl die geringe Größe der Körner bedeutete, dass der Baggerfinger immer noch die allgemeinen Konturen des Zielobjekts erkennen konnte.

Patel sagt, dass Bediener das Bewegungsmuster des Digger Fingers für verschiedene Einstellungen anpassen müssen, „abhängig von der Art des Mediums und der Größe und Form der Körner.“

In einem kurzen Q&A weiter unten erzählt Patel Tech Briefs wie sein Team plant, die Fähigkeit des Digger Fingers zu optimieren, durch verschiedene Medien zu navigieren.

Technische Informationen :Kann ein Roboterfinger einen menschenähnlichen Tastsinn haben?

Radhen Patel :Der menschliche Tastsinn ist hochdimensional. Es besteht aus mehreren Arten von Erfassungsmodalitäten, die mit unterschiedlichen Geschwindigkeiten und Auflösungen arbeiten. Erstaunlicherweise wird nur eine Reihe von ihnen tatsächlich für eine bestimmte Reihe von Aufgaben verwendet. Wir verwenden nicht immer alle. Es stehen also viele ablenkende Informationen zur Verfügung, die für eine bestimmte Aufgabe verarbeitet werden müssen.

Auch Roboterfinger nehmen über ihren Tastsinn ständig fremde Informationen wahr – zum Beispiel beim Greifen oder Platzieren von Gegenständen in unübersichtlichen Räumen. Beim Auffinden von verschütteten Gegenständen ist die „ablenkende Information“ natürlich das Gefühl der körnigen Medienpartikel an den Fingerkuppen, in denen die Gegenstände vergraben sind.

Mehr Robotik und Sensoren in Tech Briefs

Ein Navigationssystem der UC San Diego führt Roboter durch den belebtesten Bereich eines Krankenhauses:die Notaufnahme.

Die Beine des neuen Exoskeletts können „denken“ und mithilfe hoch entwickelter Technologien der künstlichen Intelligenz (KI) eigenständig Steuerungsentscheidungen treffen.

Ein tragbarer Sensor erkennt giftige Gase mit einem Hologramm.

Technische Informationen :Woher „erkennt“ der Digger Finger aus technologischer Sicht ein Zielobjekt von beispielsweise einem Stein oder einem Reisbüschel?

Radhen Patel :Wir haben ein Deep-Learning-Modell (faltendes neuronales Netzwerk) mit den Bilddaten [ein RGB-Bild von einer Kamera im Inneren des Digger-Fingers] trainiert, um die Zielobjekte zwischen Reis- und Sandklumpen zu identifizieren oder zu klassifizieren.

Technische Informationen :Wie unterscheidet sich dieses Design besonders von früheren robotischen Such- und Rettungsroboteralternativen?

Radhen Patel :Zu den wesentlichen Bestandteilen des Digger Fingers gehören eine Kamera, ein Beleuchtungssystem (LEDs und fluoreszierende Farbe), ein Spiegel, eine Gelmembran, die auf der einen Seite transparent und auf der anderen Seite mit einer reflektierenden Farbe versehen ist, und ein transparenter zylindrischer Keilkern aus Acryl, das alle oben genannten Komponenten enthält.

Wir sehen unser aktuelles Design des Digger Fingers als ein Add-on zu den bestehenden Such- und Rettungsrobotern, die es ihren Gliedmaßen ermöglichen, in enge Räume einzudringen und Kontakte mit einer feinen Auflösung wahrzunehmen.

Technische Informationen :Was kommt als nächstes? Woran wirst du mit diesem Digger Finger arbeiten?

Radhen Patel :Es gibt noch viel zu tun. Auf der Designseite wollen wir den Digger Finger robuster gegen Abrieb machen, der durch den Grabprozess entsteht, insbesondere an der Gelmembran. Wir möchten auch einen Greifer mit mehreren Digger-Fingern als taktile Anhängsel entwerfen und verschiedene taktile Erkundungsstrategien untersuchen, um vergrabene Objekte besser zu identifizieren und zu manipulieren.

Technische Informationen :Welche Anwendung ist für Sie am spannendsten, wenn Sie daran denken, wie der Digger Finger verwendet werden könnte?

Radhen Patel :Wir finden das Identifizieren und Unterscheiden von Kontakten in unübersichtlichen Räumen als die spannendste Anwendung. Dazu gehört das Entschärfen von unterirdisch vergrabenen Sprengstoffen oder das Aufheben und Platzieren von Gegenständen in überfüllten Räumen wie Einkaufstüten.

Weitere Forscher in der Studie waren der CSAIL-Doktorand Branden Romero, die Harvard-Universitäts-Doktorandin Nancy Ouyang und Edward Adelson, der John und Dorothy Wilson-Professor für Vision Science am CSAIL und am Department of Brain and Cognitive Sciences.

Was denken Sie? Teilen Sie unten Ihre Fragen und Kommentare.