University of Maryland: Augen-inspirierte Kamera verbessert Roboter-Vision

University of Maryland, College Park, MD

Ein Diagramm, das das neuartige AMI-EV-Kamerasystem darstellt. (Bild: Mit freundlicher Genehmigung des UMIACS Computer Vision Laboratory)

Mikrosakkaden: Das Geheimnis scharfer Sicht

Ein Team unter Leitung von Informatikern der University of Maryland erfand einen Kameramechanismus, der verbessert, wie Roboter die Welt um sich herum sehen und darauf reagieren. Inspiriert von der Funktionsweise des menschlichen Auges, ahmt ihr innovatives Kamerasystem die winzigen, unwillkürlichen Bewegungen nach, die das Auge nutzt, um über Zeit klare und stabile Sicht zu bewahren. Das Prototyping und Testen der Kamera – genannt Artificial Microsaccade-Enhanced Event Camera (AMI-EV) – wurde in einer im Journal Science Robotics im Mai 2024 veröffentlichten Arbeit detailliert beschrieben.

„Event-Kameras sind eine relativ neue Technologie, die bewegte Objekte besser trackt als herkömmliche Kameras, aber heutige Event-Kameras kämpfen damit, scharfe, verwischungsfreie Bilder aufzunehmen, wenn viel Bewegung involviert ist“, sagte der Hauptautor der Arbeit, Botao He, Informatik-Ph.D.-Student an der University of Maryland. „Das ist ein großes Problem, weil Roboter und viele andere Technologien wie selbstfahrende Autos auf präzise und zeitnahe Bilder angewiesen sind, um korrekt auf eine sich verändernde Umgebung zu reagieren. Also fragten wir uns: Wie stellen Menschen und Tiere sicher, dass ihre Sicht auf einem bewegten Objekt fokussiert bleibt?“

Für Hes Team war die Antwort Mikrosakkaden – kleine, schnelle Augenbewegungen, die unwillkürlich auftreten, wenn eine Person versucht, ihren Blick zu fokussieren. Durch diese winzigen, aber kontinuierlichen Bewegungen kann das menschliche Auge ein Objekt und seine visuellen Texturen – wie Farbe, Tiefe und Schattierung – über Zeit präzise im Fokus halten.

„Wir dachten, dass genau wie unsere Augen diese winzigen Bewegungen brauchen, um fokussiert zu bleiben, eine Kamera ein ähnliches Prinzip nutzen könnte, um klare und präzise Bilder ohne bewegungsbedingte Verwischung aufzunehmen“, sagte He.

Technische Umsetzung: Rotierendes Prisma

Das Team replizierte Mikrosakkaden erfolgreich, indem es ein rotierendes Prisma in die AMI-EV einbaute, um von der Linse eingefangene Lichtstrahlen umzulenken. Die kontinuierliche Rotationsbewegung des Prismas simulierte die natürlich im menschlichen Auge auftretenden Bewegungen, sodass die Kamera die Texturen eines aufgenommenen Objekts stabilisieren konnte, genau wie ein Mensch es tun würde. Das Team entwickelte dann Software, um die Bewegung des Prismas innerhalb der AMI-EV zu kompensieren und stabile Bilder aus den verschobenen Lichtern zu konsolidieren.

Studien-Co-Autor Yiannis Aloimonos, Professor für Informatik an der University of Maryland, sieht die Erfindung des Teams als großen Fortschritt im Bereich robotischer Vision.

„Unsere Augen machen Bilder der Welt um uns herum, und diese Bilder werden an unser Gehirn gesendet, wo sie analysiert werden. Wahrnehmung geschieht durch diesen Prozess, und so verstehen wir die Welt“, erklärte Aloimonos, der auch Direktor des Computer Vision Laboratory am University of Maryland Institute for Advanced Computer Studies (UMIACS) ist. „Wenn Sie mit Robotern arbeiten, ersetzen Sie die Augen durch eine Kamera und das Gehirn durch einen Computer. Bessere Kameras bedeuten bessere Wahrnehmung und Reaktionen für Roboter.“

Anwendungen jenseits der Robotik

Die Forscher glauben auch, dass ihre Innovation signifikante Implikationen jenseits von Robotik und nationaler Verteidigung haben könnte. Wissenschaftler in Branchen, die auf präzise Bildaufnahme und Formerkennung angewiesen sind, suchen ständig nach Wegen, ihre Kameras zu verbessern, und AMI-EV könnte eine Schlüssellösung für viele ihrer Probleme sein.

„Mit ihren einzigartigen Eigenschaften sind Event-Sensoren und AMI-EV bereit, im Bereich smarter Wearables eine Hauptrolle zu übernehmen“, sagte Forschungswissenschaftlerin Cornelia Fermüller, Senior-Autorin der Arbeit. „Sie haben deutliche Vorteile gegenüber klassischen Kameras, wie überlegene Leistung in extremen Lichtbedingungen, niedrige Latenz und geringen Stromverbrauch. Diese Eigenschaften sind ideal für Virtual-Reality-Anwendungen, wo ein nahtloses Erlebnis und schnelle Berechnungen von Kopf- und Körperbewegungen notwendig sind.“

In frühen Tests war AMI-EV in der Lage, Bewegung in verschiedenen Kontexten präzise zu erfassen und anzuzeigen, einschließlich menschlicher Pulsdetektion und schneller Formidentifikation. Die Forscher stellten auch fest, dass AMI-EV Bewegung in Zehntausenden Bildern pro Sekunde erfassen konnte und damit die meisten typischerweise verfügbaren kommerziellen Kameras übertraf, die durchschnittlich 30 bis 1000 Bilder pro Sekunde aufnehmen. Diese flüssigere und realistischere Darstellung von Bewegung könnte entscheidend sein für alles – von immersiveren Augmented-Reality-Erlebnissen und besserer Sicherheitsüberwachung bis hin zur Verbesserung der Bildaufnahme durch Astronomen im Weltraum.

„Unser neuartiges Kamerasystem kann viele spezifische Probleme lösen, wie einem selbstfahrenden Auto zu helfen, zu erkennen, was auf der Straße ein Mensch ist und was nicht“, sagte Aloimonos. „Daher hat es viele Anwendungen, mit denen ein Großteil der Öffentlichkeit bereits interagiert, wie autonome Fahrsysteme oder sogar Smartphone-Kameras. Wir glauben, dass unser neuartiges Kamerasystem den Weg für fortschrittlichere und leistungsfähigere Systeme ebnet.“

Für weitere Informationen kontaktieren Sie Georgia Jiang unter georgia.jiang@umd.edu.