Roboterarm meistert Jenga mit Vision & Tast-KI

Forscher entwickelten einen Roboterarm, der Tasten und Vision nutzt, um Jenga zu lernen. Die ML-Methode könnte Roboter beim Zusammenbau von Konsumgütern und anderen Aufgaben helfen, die sorgfältige physische Interaktion erfordern.

Jenga-spielender Roboter

Jenga ist ein komplexes Spiel, das präzise Auge-Hand-Koordination und Strategie erfordert. Menschen integrieren Sehen und Tasten nahtlos, um es zu meistern. Roboter besitzen diese Raffinesse noch nicht.

Die meisten robotischen Lernsysteme nutzen nur visuelle Daten ohne Tastsinn, was ihre Fähigkeit, die externe Welt zu lernen, begrenzt. Bestehende Algorithmen basierend auf modellfreiem Reinforcement Learning haben wenig Fähigkeit, Wissen über physische Objekte, Kontakte oder Kräfte zu nutzen.

Forscher am MIT MCube Lab entwickelten nun einen Algorithmus, der diese Fähigkeit mit einem Roboter repliziert. Im Gegensatz zu herkömmlichen ML-Techniken, die massive Datensätze für den nächsten besten Zug nutzen, lernt dieser Roboter ein hierarchisches Modell, das sanftes und präzises Extrahieren von Steinen ermöglicht.

Ausstattung

Der Roboter verfügt über eine externe RGB-Kamera, weichzinkigen Greifer und ein kraftmessendes Handgelenksmanschette. Alle Komponenten ermöglichen dem Roboter, den Jenga-Turm und einzelne Steine zu beobachten und zu fühlen.

Forscher passten einen industriellen ABB IRB 120 Roboterarm an und bauten einen Jenga-Turm in Reichweite auf. Wenn der Arm sanft gegen einen Stein drückt, erfasst ein Computer taktile und visuelle Rückmeldung von Manschette und Kamera und vergleicht diese mit vorherigen Zügen des Roboters.

Referenz: ScienceRobotics | doi:10.1126/scirobotics.aav3123 | MIT

Dieses Modell ermöglicht dem Roboter, den Zustand eines Steins präzise einzuschätzen, nächste mögliche Züge zu simulieren und einen günstigen zu wählen. In Echtzeit lernt die Maschine, ob sie den Stein weiter schieben oder zu einem neuen wechseln soll, um den Turm vor dem Einsturz zu bewahren.

Das ist anspruchsvoller als KI für Schach oder Go, da Jenga grundlegende physische Fähigkeiten erfordert: Ziehen, Schieben, Platzieren, Ausrichten einzelner Steine.

Der in dieser Arbeit entwickelte Roboter erkennt effizient, wann ein Stein feststeckt oder frei ist, und entscheidet, wie er ihn mit weit weniger Daten extrahiert. Er wurde an fast 300 Versuchen trainiert (statt Zehntausenden). Versuche mit ähnlichen Ergebnissen und Messungen werden in Cluster gruppiert, jedes Cluster repräsentiert spezifisches Steinverhalten.

Für jeden Datencluster entwickelte die Maschine ein Modell zur Schätzung des Steinverhaltens basierend auf aktuellen taktilen und visuellen Messungen. Diese Clustering-Strategie – inspiriert vom natürlichen menschlichen Lernen – steigert die Lerneffizienz des Roboters erheblich.

Anwendungen

Diese Methode ist ein erfolgreiches Beispiel für KI, die in die physische Welt vordringt. Während der Roboter mit seiner Umgebung interagiert, lernt er grundlegende Fähigkeiten menschlicher Manipulation.

Dieses taktile Lernsystem lässt sich auf Aufgaben jenseits von Jenga anwenden, besonders solche, die sorgfältige physische Interaktion erfordern: Zusammenbau von Konsumgütern, Trennen von Recyclingmaterial aus Müll.

In Smartphone- und Laptop-Montagelinien erfordern die meisten Schritte Tasten- und Kraftaktionen statt nur Vision – diese Technologie könnte solche Linien drastisch verbessern.