Ingenieure der University of Maryland entwickeln eine fortschrittliche, vom Auge inspirierte Kamera, die das Robotersehen verbessert

University of Maryland, College Park, MD

Ein Diagramm, das das neuartige AMI-EV-Kamerasystem zeigt. (Bild:Mit freundlicher Genehmigung des UMIACS Computer Vision Laboratory)

Ein von Informatikern der University of Maryland geleitetes Team hat einen Kameramechanismus erfunden, der die Sicht und Reaktion von Robotern auf die Welt um sie herum verbessert. Ihr innovatives Kamerasystem ist von der Funktionsweise des menschlichen Auges inspiriert und ahmt die winzigen unwillkürlichen Bewegungen des Auges nach, um im Laufe der Zeit eine klare und stabile Sicht aufrechtzuerhalten. Die Prototypenentwicklung und Tests der Kamera – die so genannte Artificial Microsaccade-Enhanced Event Camera (AMI-EV) – wurde in einem in der Fachzeitschrift Science Robotics veröffentlichten Artikel detailliert beschrieben im Mai 2024.

„Veranstaltungskameras sind eine relativ neue Technologie, die sich bewegende Objekte besser verfolgen kann als herkömmliche Kameras, aber heutige Veranstaltungskameras haben Schwierigkeiten, scharfe, verwacklungsfreie Bilder aufzunehmen, wenn viel Bewegung im Spiel ist“, sagte der Hauptautor der Studie, Botao He, ein Informatik-Doktorand. Student an der University of Maryland. „Es ist ein großes Problem, weil Roboter und viele andere Technologien, wie zum Beispiel selbstfahrende Autos, auf genaue und zeitnahe Bilder angewiesen sind, um richtig auf eine sich verändernde Umgebung zu reagieren. Deshalb haben wir uns gefragt:Wie stellen Menschen und Tiere sicher, dass ihre Sicht auf ein sich bewegendes Objekt gerichtet bleibt?“

Für Hes Team waren Mikrosakkaden die Antwort, kleine und schnelle Augenbewegungen, die unwillkürlich auftreten, wenn eine Person versucht, ihren Blick zu fokussieren. Durch diese winzigen, aber kontinuierlichen Bewegungen kann das menschliche Auge den Fokus auf ein Objekt und seine visuellen Texturen – wie Farbe, Tiefe und Schatten – im Laufe der Zeit präzise richten.

„Wir dachten, dass eine Kamera ein ähnliches Prinzip nutzen könnte, um klare und genaue Bilder ohne bewegungsbedingte Unschärfe aufzunehmen, so wie unsere Augen diese winzigen Bewegungen benötigen, um scharf zu bleiben“, sagte er.

Das Team replizierte erfolgreich Mikrosakkaden, indem es ein rotierendes Prisma in das AMI-EV einbaute, um die von der Linse eingefangenen Lichtstrahlen umzuleiten. Die kontinuierliche Rotationsbewegung des Prismas simulierte die natürlichen Bewegungen eines menschlichen Auges und ermöglichte es der Kamera, die Texturen eines aufgenommenen Objekts genauso zu stabilisieren, wie es ein Mensch tun würde. Das Team entwickelte dann eine Software, um die Bewegung des Prismas innerhalb des AMI-EV zu kompensieren und stabile Bilder von den wechselnden Lichtern zu konsolidieren.

Der Co-Autor der Studie, Yiannis Aloimonos, Professor für Informatik an der University of Maryland, betrachtet die Erfindung des Teams als einen großen Schritt vorwärts im Bereich der robotischen Vision.

„Unsere Augen fotografieren die Welt um uns herum und diese Bilder werden an unser Gehirn gesendet, wo die Bilder analysiert werden. Die Wahrnehmung geschieht durch diesen Prozess und so verstehen wir die Welt“, erklärte Aloimonos, der auch Direktor des Computer Vision Laboratory am University of Maryland Institute for Advanced Computer Studies (UMIACS) ist. „Wenn Sie mit Robotern arbeiten, ersetzen Sie die Augen durch eine Kamera und das Gehirn durch einen Computer. Bessere Kameras bedeuten eine bessere Wahrnehmung und Reaktion der Roboter.“

Die Forscher glauben auch, dass ihre Innovation erhebliche Auswirkungen über die Robotik und die Landesverteidigung hinaus haben könnte. Wissenschaftler, die in Branchen arbeiten, die auf genaue Bilderfassung und Formerkennung angewiesen sind, suchen ständig nach Möglichkeiten, ihre Kameras zu verbessern, und AMI-EV könnte eine Schlüssellösung für viele der Probleme sein, mit denen sie konfrontiert sind.

„Mit ihren einzigartigen Eigenschaften sind Ereignissensoren und AMI-EV bereit, im Bereich der Smart Wearables eine zentrale Rolle zu spielen“, sagte Forscherin Cornelia Fermüller, leitende Autorin des Papiers. „Sie haben deutliche Vorteile gegenüber klassischen Kameras, wie z. B. überlegene Leistung bei extremen Lichtverhältnissen, geringe Latenz und geringer Stromverbrauch. Diese Funktionen sind beispielsweise ideal für Virtual-Reality-Anwendungen, bei denen ein nahtloses Erlebnis und schnelle Berechnungen von Kopf- und Körperbewegungen erforderlich sind.“

In frühen Tests war AMI-EV in der Lage, Bewegungen in verschiedenen Kontexten genau zu erfassen und anzuzeigen, einschließlich der Erkennung des menschlichen Pulses und der Identifizierung sich schnell bewegender Formen. Die Forscher fanden außerdem heraus, dass AMI-EV Bewegungen in Zehntausenden Bildern pro Sekunde erfassen kann und damit die meisten handelsüblichen Kameras übertrifft, die durchschnittlich 30 bis 1000 Bilder pro Sekunde erfassen. Diese flüssigere und realistischere Darstellung von Bewegungen könnte sich als entscheidend für alles erweisen, von der Schaffung immersiverer Augmented-Reality-Erlebnisse und einer besseren Sicherheitsüberwachung bis hin zur Verbesserung der Art und Weise, wie Astronomen Bilder im Weltraum aufnehmen.

„Unser neuartiges Kamerasystem kann viele spezifische Probleme lösen, beispielsweise einem selbstfahrenden Auto dabei helfen, herauszufinden, was auf der Straße ein Mensch ist und was nicht“, sagte Aloimonos. „Daher gibt es viele Anwendungen, mit denen ein Großteil der Öffentlichkeit bereits interagiert, wie autonome Fahrsysteme oder sogar Smartphone-Kameras. Wir glauben, dass unser neuartiges Kamerasystem den Weg für zukünftige fortschrittlichere und leistungsfähigere Systeme ebnet.“

Für weitere Informationen wenden Sie sich bitte an Georgia Jiang unter Diese E-Mail-Adresse ist vor Spambots geschützt. Sie müssen JavaScript aktivieren, damit Sie es sehen können.