Ein künstliches Intelligenzsystem zur Identifizierung von Objekten in überfüllten Szenen

Robotisches Sehen hat einen langen Weg zurückgelegt und mit Anwendungen in komplexen und anspruchsvollen Aufgaben wie autonomem Fahren und Objektmanipulation einen hohen Grad an Ausgereiftheit erreicht. Es ist jedoch immer noch schwierig, einzelne Objekte in überladenen Szenen zu identifizieren, in denen einige Objekte teilweise oder vollständig hinter anderen verborgen sind. Typischerweise werden Roboter-Sichtsysteme beim Umgang mit solchen Szenen darauf trainiert, das verdeckte Objekt nur auf der Grundlage seiner sichtbaren Teile zu identifizieren. Ein solches Training erfordert jedoch große Datensätze von Objekten und kann mühsam sein.

Außerordentlicher Professor Kyoobin Lee und Ph.D. Student Seunghyeok Back vom Gwangju Institute of Science and Technology in Südkorea sahen sich mit diesem Problem konfrontiert, als sie ein künstliches Intelligenzsystem entwickelten, um Objekte in unübersichtlichen Szenen zu identifizieren und zu sortieren. „Wir erwarten von einem Roboter, dass er Objekte erkennt und manipuliert, denen er zuvor noch nicht begegnet ist oder auf deren Erkennung er trainiert wurde. In Wirklichkeit müssen wir die Daten jedoch einzeln manuell sammeln und kennzeichnen, da die Verallgemeinerbarkeit tiefer neuronaler Netze stark von der Qualität und Quantität des Trainingsdatensatzes abhängt“, sagte Back.

In einer neuen Studie unter der Leitung von Prof. Lee und Back entwickelten sie ein Modell namens „Unseen Object Amodal Instance Segmentation“ (UOAIS) zur Erkennung verdeckter Objekte in überladenen Szenen. Um das Modell bei der Identifizierung der Objektgeometrie zu trainieren, entwickelten sie eine Datenbank mit 45.000 fotorealistischen synthetischen Bildern mit Tiefeninformationen. Mit diesen (begrenzten) Trainingsdaten war das Modell in der Lage, eine Vielzahl von verdeckten Objekten zu erkennen. Beim Auffinden einer unübersichtlichen Szene wählt es zuerst das interessierende Objekt aus und bestimmt dann, ob das Objekt verdeckt ist, indem es das Objekt in eine „sichtbare Maske“ und eine „amodale Maske“ segmentiert.

Die Forscher waren von den Ergebnissen begeistert. „Frühere Methoden sind darauf beschränkt, entweder nur bestimmte Arten von Objekten zu erkennen oder nur die sichtbaren Bereiche zu erkennen, ohne explizit über verdeckte Bereiche nachzudenken. Im Gegensatz dazu kann unser Verfahren wie ein menschliches Sehsystem auf die verborgenen Bereiche von verdeckten Objekten schließen. Dies ermöglicht eine Reduzierung des Datenerfassungsaufwands und verbessert gleichzeitig die Leistung in einer komplexen Umgebung“, sagte Back.

Um „Occlusion Reasoning“ in ihrem System zu ermöglichen, führten die Forscher ein „Hierarchical Occlusion Modeling“ (HOM)-Schema ein, das der Kombination mehrerer extrahierter Merkmale und ihrer Vorhersagereihenfolge eine Hierarchie zuordnete. Indem sie ihr Modell anhand von drei Benchmarks testeten, validierten sie die Effektivität des HOM-Schemas, das eine hochmoderne Leistung erzielte.

Die Forscher sind zuversichtlich, was die Zukunftsaussichten ihrer Methode angeht. „Die Wahrnehmung unsichtbarer Objekte in einer unübersichtlichen Umgebung ist für die amodale Robotermanipulation von entscheidender Bedeutung. Unsere UOAIS-Methode könnte in dieser Hinsicht als Grundlage dienen“, sagte Back.

Weitere Informationen erhalten Sie von Seulhye Kim, Gwangju Institute of Science and Technology, unter Diese E-Mail-Adresse ist vor Spambots geschützt! JavaScript muss aktiviert werden, damit sie angezeigt werden kann.; 82-627-156-253.