Fortgeschrittenes KI-System für präzise Objekterkennung in überladenen Umgebungen

Herausforderung: Okklusion in Roboter-Vision

Roboter-Vision hat einen langen Weg zurückgelegt und erreicht ein Niveau der Raffinesse für komplexe und anspruchsvolle Aufgaben wie autonomes Fahren und Objektmanipulation. Dennoch kämpft sie damit, einzelne Objekte in überladenen Szenen zu identifizieren, wo einige Objekte teilweise oder vollständig hinter anderen verborgen sind. Typischerweise werden Roboter-Vision-Systeme bei solchen Szenen trainiert, das okkludierte Objekt nur basierend auf seinen sichtbaren Teilen zu identifizieren. Aber solches Training erfordert große Datensätze von Objekten und kann mühsam sein.

Associate Professor Kyoobin Lee und Ph.D.-Student Seunghyeok Back vom Gwangju Institute of Science and Technology in Südkorea sahen sich diesem Problem gegenüber, als sie ein KI-System zur Identifikation und Sortierung von Objekten in überladenen Szenen entwickelten. „Wir erwarten, dass ein Roboter Objekte erkennt und manipuliert, denen er zuvor nicht begegnet ist oder für die er nicht trainiert wurde. In der Realität müssen wir jedoch manuell Daten sammeln und einzeln labeln, da die Generalisierbarkeit tiefer neuronaler Netze stark von Qualität und Quantität des Trainingsdatensatzes abhängt“, sagte Back.

Neues Modell: UOAIS

In einer neuen Studie, geleitet von Prof. Lee und Back, entwickelten sie ein Modell namens „Unseen Object Amodal Instance Segmentation“ (UOAIS) für die Detektion okkludierter Objekte in überladenen Szenen. Zum Training der Objekterkennung von Objektgeometrie entwickelten sie eine Datenbank mit 45.000 fotorealistischen synthetischen Bildern mit Tiefeninformation. Mit diesen (begrenzten) Trainingsdaten war das Modell in der Lage, eine Vielzahl okkludierter Objekte zu detektieren. Bei Begegnung mit einer überladenen Szene wählt es zuerst das Objekt der Interesse aus und bestimmt dann, ob das Objekt okkludiert ist, indem es das Objekt in einen „Visible Mask“ und einen „Amodal Mask“ segmentiert.

Die Forscher waren von den Ergebnissen begeistert. „Vorherige Methoden sind limitiert auf entweder Detektion nur spezifischer Objekttypen oder Detektion nur sichtbarer Regionen ohne explizites Reasoning über okkludierte Bereiche. Im Gegensatz dazu kann unsere Methode die verborgenen Regionen okkludierter Objekte wie ein menschliches Vision-System inferieren. Dies ermöglicht Reduktion der Datensammelaufwände bei verbesserter Performance in komplexen Umgebungen“, sagte Back.

Hierarchisches Okklusionsmodellierung (HOM)

Um „Okklusions-Reasoning“ in ihrem System zu ermöglichen, führten die Forscher ein „Hierarchical Occlusion Modeling“ (HOM) Schema ein, das eine Hierarchie der Kombination mehrerer extrahierter Features und ihrer Vorhersage-Reihenfolge zuweist. Durch Testen ihres Modells an drei Benchmarks validierten sie die Effektivität des HOM-Schemas, das State-of-the-Art-Performance erreichte.

Die Forscher sind hoffnungsvoll über die Zukunftsaussichten ihrer Methode. „Wahrnehmung unsichtbarer Objekte in überladener Umgebung ist essenziell für amodale robotische Manipulation. Unsere UOAIS-Methode könnte als Baseline auf diesem Gebiet dienen“, sagte Back.

Für weitere Informationen kontaktieren Sie Seulhye Kim, Gwangju Institute of Science and Technology (E-Mail geschützt, JS nötig); 82-627-156-253.