KI befähigt Roboter, 90+ Objekte durch Tasten zu erkennen

Ein neues ML-basiertes Wahrnehmungs-Framework erkennt über 90 verschiedene Objekte durch Tasten. Es nutzt sowohl visuelle als auch taktile Beobachtungen, um zu identifizieren, ob diese demselben Objekt entsprechen.

Multimodale Wahrnehmung

Menschen sind gut darin, Erscheinung und Materialeigenschaften von Objekten über mehrere Modalitäten zu assoziieren. Sehen wir eine Schere, können wir vorstellen, wie sich die Metalloberfläche anfühlt, sie im Geist vorstellen – nicht nur Identität, sondern auch Größe, Form, Proportionen.

Roboters Wahrnehmung ist nicht inhärent multimodal. Zwar können Roboter mit fortschrittlichen Kameras zwei Objekte unterscheiden, doch Sehen allein reicht oft nicht, besonders bei Okklusion und schlechten Lichtverhältnissen.

Forscher der UC Berkeley entwickelten nun eine Methode, die Robotermanipulatoren menschenähnliche multimodale Assoziationen lernen lässt. Sie nutzt visuelle und taktile Beobachtungen, um herauszufinden, ob diese demselben Objekt entsprechen.

Was genau wurde getan?

Das Team setzte hochauflösendes Tasten über zwei GelSight-Sensoren (an den Robotefingern) und CNNs für multimodale Assoziation ein.

Diese Sensoren erzeugen Messwerte durch eine in Elastomer-Gel integrierte Kamera, die Eindrücke im Gel durch Objektkontakt aufzeichnet. Diese Werte werden an CNNs zur Datenverarbeitung weitergeleitet.

Forscher trainierten CNNs, taktile Sensordaten und Objektbilder von einer Kamera aufzunehmen und zu identifizieren, ob diese Eingaben dasselbe Objekt darstellen. Für Instanz-Erkennung kombinierten sie taktile Robotermesswerte mit visueller Beobachtung des Abfrageobjekts.

Referenz: arXiv:1903.03591 | UC Berkeley

Sie nutzten NVIDIA GeForce GTX 1080 und TITAN X GPUs mit CUDA Deep Learning Framework, um das CNN für multimodale Assoziation an über 33.000 Bildern zu trainieren und zu testen.

Roboter (links) mit zwei GelSight-Taktilsensoren (je einer pro Finger) und frontaler RGB-Kamera | Beispiele taktiler Beobachtungen (Mitte) und Objektbilder (rechts) zu einem Objekt | Mit freundlicher Genehmigung der Forscher

Die Ergebnisse zeigen, dass Objekterkennung allein durch taktile Messwerte möglich ist – einschließlich Instanzen, die nie im Training verwendet wurden. Tatsächlich übertraf das CNN einige menschliche Freiwillige und alternative Methoden.

Was kommt als Nächstes?

Bisher betrachteten Forscher nur einzelne Griffe. In der nächsten Studie werden sie multiple taktile Interaktionen nutzen, um ein vollständigeres Bild des Abfrageobjekts zu erhalten.

Das Team plant auch, ihr System auf Robotik-Lagerhäuser auszuweiten, wo Roboter Produktbilder betrachten und Objekte durch Tasten in Regalen finden. Diese Methode kann auf Haushaltsroboter angewendet werden, um Objekte aus schwer erreichbaren Stellen zu holen.