Künstliche Intelligenz hilft Robotern, Objekte durch Berührung zu erkennen

• Das neue auf maschinellem Lernen basierende Wahrnehmungs-Framework kann über 90 verschiedene Objekte durch Berührung erkennen.
• Es verwendet sowohl visuelle als auch taktile Beobachtungen, um festzustellen, ob diese Beobachtungen demselben Objekt entsprechen.

Menschen sind gut darin, das Aussehen und die Materialeigenschaften von Objekten über mehrere Modalitäten hinweg zu verknüpfen. Wenn wir eine Schere sehen, können wir uns vorstellen, wie sich unsere Finger beim Berühren der Metalloberfläche anfühlen würden, wir können sie uns vor Augen führen – nicht nur ihre Identität, sondern auch ihre Größe, Form und Proportionen.

Die Wahrnehmung von Robotern hingegen ist nicht von Natur aus multimodal. Obwohl bestehende Roboter, die mit fortschrittlichen Kameras ausgestattet sind, in der Lage sind, zwischen zwei verschiedenen Objekten zu unterscheiden, kann sich die Sicht allein oft als unzureichend erweisen, insbesondere bei Okklusion und schlechten Lichtverhältnissen.

Forscher der University of California in Berkeley haben nun eine Methode entwickelt, die es dem Robotermanipulator ermöglicht, menschenähnliche multimodale Assoziationen zu erlernen. Es verwendet sowohl visuelle als auch taktile Beobachtungen, um herauszufinden, ob diese Beobachtungen demselben Objekt entsprechen oder nicht.

Was genau haben sie getan?

Das Forschungsteam setzte eine hochauflösende Berührungssensorik über zwei GelSight-Sensoren (am Roboterfinger befestigt) und Convolutional Neural Networks (CNNs) für die multimodale Assoziation ein.

Diese Sensoren erzeugen Messwerte mithilfe einer in ein Elastomergel integrierten Kamera, die durch Kontakt mit Gegenständen entstandene Vertiefungen im Gel aufzeichnet. Diese Messwerte werden dann zur Datenverarbeitung an CNNs weitergeleitet.

Die Forscher trainierten diese CNNs, um die taktilen Messwerte von Sensoren und Objektbilder von einer Kamera aufzunehmen und zu identifizieren, ob diese Eingaben dasselbe Objekt darstellen oder nicht. Um die Instanzerkennung durchzuführen, kombinierten sie die taktilen Messwerte des Roboters mit der visuellen Beobachtung des Abfrageobjekts.

Referenz:arXiv:1903.03591 | UC Berkeley

Sie verwendeten NVIDIA GeForce GTX 1080- und TITAN X-GPUs mit dem CUDA-Deep-Learning-Framework, um das CNN für die multimodale Assoziation mit mehr als 33.000 Bildern zu trainieren und zu testen.

Roboter (links) bestehend aus zwei taktilen GelSight-Sensoren (einer an jedem Finger) und einer frontalen RGB-Kamera | Beispiele für taktile Beobachtungen (Mitte) und Objektbilder (rechts), die einem einzelnen Objekt entsprechen | Mit freundlicher Genehmigung der Forscher 

Die Ergebnisse zeigen, dass es möglich ist, Objektinstanzen allein durch taktiles Lesen zu erkennen, auch solche, die nie im Training verwendet wurden. Tatsächlich übertraf CNN einige menschliche Freiwillige und alternative Methoden.

Wie geht es weiter?

Bisher haben Forscher nur einzelne Griffe betrachtet. In der nächsten Studie werden sie mehrere taktile Interaktionen verwenden, um ein vollständigeres Bild des Abfrageobjekts zu erhalten.

Lesen Sie:15 verschiedene Arten von Robotern | Erklärt

Das Team plant auch, sein System auf Roboterlager auszuweiten, in denen Roboter Produktbilder betrachten und sie durch Ertasten von Objekten in Regalen abrufen. Diese neue Methode kann auf Roboter in einer häuslichen Umgebung angewendet werden, damit sie Objekte aus schwer zugänglichen Stellen holen.