Revolution der Maschinenvision: Wie Event-Sensoren schnellere, intelligentere Bildverarbeitung ermöglichen

Die Datenflut durch Kameras

Der Anstieg der von Kameras generierten Inhalte in Konsum- und Industriesektoren belastet die Fähigkeit von Maschinen, visuelle Daten praktisch und effizient zu erfassen, zu verarbeiten und zu nutzen. Aktuelle Herausforderungen sind: eine überwältigende Menge gesammelter Daten (vieles davon für Maschinen irrelevant); unzureichende Verarbeitungsfähigkeiten (besonders in anwendungen, die durch Größe und Leistung begrenzt sind); und die Forderung nach Echtzeitverarbeitung. Entwickler visionsgestützter Systeme – von Smartphones, Wearables, Smart Homes, IoT, Automobilsystemen bis hin zu industrieller Automatisierung – suchen Wege, den traditionellen Ansatz der Visionserfassung und Datenerfassung zu transformieren.

Frame-basierte Methoden: Für Menschen gemacht, nicht für Maschinen

Da Kameratechnologie ihren Ursprung in der Bereitstellung von Bildern für den menschlichen Konsum hat, erweist sich ihr Fortschritt – primär basierend auf frame-basierten Methoden – als unzureichend für die Anforderungen moderner Maschinenvision. Jahrelang war Maschinenvision auf visuelle Informationen angewiesen, die für menschliche Interpretation erfasst und strukturiert wurden: Videostreams, bestehend aus sequenziellen Bildern, die von einem Bildsensor aufgenommen werden. Jedes Bild stellt einen statischen Schnappschuss zu einem bestimmten Moment dar, ohne dynamische Informationen. Diese Methode der visuellen Datenerfassung ist in den meisten Maschinenvisionssystemen verbreitet, die für die Überwachung von Veränderungen und Bewegungen in dynamischen Umgebungen entwickelt wurden.

Durch neuromorphe Techniken, inspiriert vom menschlichen Sehsystem, strebt der ereignisbasierte Visionsansatz an, Effizienz und Leistung in verschiedenen visionsgestützten Systemen in Konsum-, Industrie-, Automobil- und anderen Sektoren zu steigern, um Sicherheit, Produktivität und Nutzererfahrung zu erhöhen. (Bild: Prophesee)

Das Problem mit Bewegung und variabler Dynamik

Die vorherrschende Herausforderung tritt auf, wenn Bewegung oder Veränderung in einer Szene stattfindet – was in den meisten Maschinenvisionsanwendungen üblich ist. Dann werden die inhärenten Limitationen der visuellen Frame-Erfassung deutlich. Unabhängig von der eingestellten Frame-Rate: Wenn eine Kamera eine sich bewegende Szene erfassen soll, wird sie konsequent ungenau sein. Da verschiedene Teile einer Szene typischerweise gleichzeitig unterschiedliche Dynamiken aufweisen, führt die Verwendung einer einzelnen Abtastrate zur Regelung der Pixelbelichtung über einen Imaging-Array unweigerlich zu unzureichender Erfassung dieser vielfältigen, gleichzeitig auftretenden Szenendynamiken.

Weniger ist mehr: Ereignisbasiertes Sehen

Zusätzlich zu dieser Herausforderung sind traditionelle Bildsensoren langsam und energieintensiv, produzieren übermäßige redundante Daten und haben einen begrenzten Dynamikumfang – was sie für Maschinenvisionsaufgaben, besonders in anspruchsvollen Betriebsumgebungen, ungeeignet macht. Folglich entstehen biologisch inspirierte „neuromorphe“ ereignisbasierte Visionssysteme als Alternativen, die erhöhte Geschwindigkeit, minimale Latenz, bessere Energieeffizienz und breiteren Dynamikumfang bieten, die sich gut für verschiedene Maschinenvisionsanwendungen eignen.

Ereignisbasiertes Sehen markiert einen Paradigmenwechsel in der Art, wie visuelle Informationen für moderne Maschinenvision erfasst und verarbeitet werden. Durch neuromorphe Techniken, inspiriert vom menschlichen Sehsystem, strebt dieser Ansatz an, Effizienz und Leistung in verschiedenen visionsgestützten Systemen in Konsum-, Industrie-, Automobil- und anderen Sektoren zu steigern, um Sicherheit, Produktivität und Nutzererfahrung zu erhöhen.

Ereignisbasiertes Sehen funktioniert anders als herkömmliche Kameras, da es von einer einheitlichen Erfassungsrate für alle Pixel abweicht. Stattdessen bestimmt jedes Pixel unabhängig seinen Abtastzeitpunkt basierend auf Änderungen des einfallenden Lichts dank dedizierter Intelligenz pro Pixel. Kontrastdetektionsinformationen werden in „Ereignissen“ gekapselt, bestehend aus den x,y-Koordinaten des Pixels und der präzisen Ereignisgenerierungszeit. Mit Prophesees patentierten ereignisbasierten Sensoren aktivieren sich Pixel intelligent bei Erkennung von Kontraständerungen (Bewegung), was die kontinuierliche Erfassung wesentlicher Bewegungsdetails auf Pixelebene ermöglicht.

Der Unterschied zum Fest-Frame-Rate-Ansatz liegt darin, wie jedes Pixel seine Abtastrate an seinen visuellen Input anpassen kann. Dieser personalisierte Ansatz erlaubt jedem Pixel, seine Abtastpunkte durch Reaktion auf Variationen der einfallenden Lichtpegel zu bestimmen. Folglich wird der Abtastprozess nicht mehr durch eine künstliche Zeitquelle diktiert, sondern durch das Signal selbst – genauer durch zeitliche Signal-Amplitudenschwankungen. Das Ergebnis solcher Kameras entwickelt sich von Bildsequenzen zu einem kontinuierlichen Strom individueller Pixeldaten, die bedingt basierend auf Szenendynamiken generiert werden.

Vorteile von Event-Sensoren

Event-Sensoren bieten mehrere Vorteile: Hochgeschwindigkeitsbetrieb (äquivalent zu 10.000 fps), hocheffizienter Stromverbrauch (bis in den Mikrowattbereich), niedrige Latenz für schnellere Reaktionszeiten, reduzierter Datenverarbeitungsbedarf (10- bis 10.000-fach weniger als frame-basierte Systeme) und ein hoher Dynamikumfang von bis zu 120 dB. Diese Eigenschaften machen Event-Sensoren für verschiedene Anwendungen und Produkte geeignet.

Anwendungen ereignisbasierter Vision

Neuromorph aktivierte Event-Sensoren können für diverse industrielle Automatisierungsaufgaben eingesetzt werden, um Produktivität, Qualität, Sicherheit, Security und vorbeugende Wartung zu verbessern. (Bild: Prophesee)

Zunächst fanden neuromorphe Event-Sensoren kommerzielle Nutzung nicht in Maschinen, sondern für Menschen – zur Sehkraftwiederherstellung bei sehbehinderten Personen. Dies führte zu Anwendungsfällen in industrieller Automatisierung und Prozessüberwachung. Diese demonstrierten die Vorteile von Event-Sensoren für zahlreiche Vision-Aufgaben, besonders solche mit schnell bewegten und sich verändernden Elementen, unvorhersehbaren Umgebungslichtbedingungen und begrenzten Ressourcen. Nachfolgende Generationen ereignisbasierter Systeme wurden in industriellen Umgebungen für Aufgaben wie Hochgeschwindigkeitszählen, vorbeugende Wartung (z. B. Vibrationsüberwachung), Steigerung robotischer Effizienz und Sicherheit, Eye-Tracking oder Gestenerkennung für AR/VR sowie verschiedene Logistik- und Sicherheitsanwendungen eingesetzt.

Diese inhärenten Vorteile machen Event-Sensoren ideal für IoT-Anwendungen. Der Stromverbrauch spielt eine kritische Rolle bei IoT-Geräten, besonders solchen, die auf Batterien angewiesen sind. Ereignisbasierte Vision eignet sich gut für solche Szenarien, da sie im Vergleich zu frame-basierten Kamerasystemen mit signifikant niedrigeren Leistungsniveaus arbeitet. Zudem glänzen ereignisbasierte Kameras in herausfordernden Lichtverhältnissen, die in vielen IoT-Anwendungen üblich sind, dank ihrer lichtunabhängigen Informationsverarbeitung. Ihr hoher Dynamikumfang erlaubt die Erfassung eines breiten Spektrums an Lichtintensitäten innerhalb eines einzelnen Frames, was sie perfekt für Umgebungen mit variierenden Lichtbedingungen macht – wie Außenszenen bei hellem Sonnenlicht oder nächtliche Einstellungen.

Mit einem Dynamikumfang über 120 dB können ereignisbasierte Kameras auch in Umgebungen effektiv funktionieren, in denen herkömmliche Kameras mit variierenden Lichtbedingungen kämpfen – sei es extrem helle Einstellungen wie öffentliche Plätze oder Fahrzeuge bei Tag oder schwach beleuchtete Szenarien wie Nachtoperationen oder dunkle Fabrikhallen, wo Event-Sensoren für vorbeugende Wartung und Sicherheitsüberwachung eingesetzt werden können. (Bild: Prophesee)

Mit einem Dynamikumfang über 120 dB funktionieren ereignisbasierte Kameras effektiv in Umgebungen, in denen herkömmliche Kameras mit variierenden Lichtbedingungen kämpfen – seien es extrem helle Settings wie öffentliche Plätze oder Fahrzeuge bei Tag oder schwach beleuchtete Szenarien wie Nachtoperationen oder dunkle Fabrikhallen. Darüber hinaus bieten diese Kameras minimale Latenz, da sie Informationen nur übertragen, wenn es eine Helligkeitsänderung in der Szene gibt. Echtzeitreaktion ist vorteilhaft bei schnell wechselnden Lichtsituationen, wie abrupten Wechseln von hell zu dunkel oder umgekehrt. Ereignisbasierte Kameras, die individuelle Änderungen der Lichtintensität detektieren, sind weniger anfällig für Bewegungsunschärfe im Vergleich zu herkömmlichen frame-basierten Kameras.

Diese Eigenschaft ist besonders wertvoll in Szenarien mit schnellen Bewegungen, um scharfe Bildqualität zu gewährleisten. Neue Anwendungen, die diesen Vorteil nutzen, werden für Kameras in Smartphones entwickelt – beispielsweise Prophesees Partnerschaft mit Qualcomm zur Integration seiner ereignisbasierten Technologie in die beliebte Snapdragon-Plattform.

Weiterentwicklung für IoT und Edge Vision

Die weitere Entwicklung von Event-Sensoren für IoT umfasst die Anpassung für Edge-Vision-Aufgaben mit begrenzten Onboard-Computing-Fähigkeiten aufgrund der Erfassung spärlicher Daten. Allerdings haben Herausforderungen wie unkonventionelle Datenformate, variable Datenraten und nicht-standardisierte Schnittstellen die breitere Adoption behindert. Um dieses Problem anzugehen, zielt die neueste Generation von Event-Sensoren, exemplarisch Prophesees GenX320, darauf ab, Integration und Benutzerfreundlichkeit in eingebetteten Edge-Vision-Systemen zu verbessern, indem Funktionen wie Event-Daten-Vorverarbeitung und -Formatierung, kompatible Datenschnittstellen und niedrige Latenz-Konnektivität mit verschiedenen Verarbeitungsplattformen – einschließlich energieeffizienter neuromorpher Prozessoren – integriert werden. Beispielsweise bietet der GenX320 mehrere Vorverarbeitungsfunktionen, anpassbare Schnittstellen und Energiemanagement-Optionen, um energieempfindliche Vision-Anwendungen effizient zu bedienen.

Trotz ihrer operativen Effizienz bleibt die Optimierung von Event-Sensoren für niedrigen Stromverbrauch, geeignet für IoT-Setups, kritisch. Die Implementierung verschiedener Strommodi und anwendungsspezifischer Betriebsmodi kann die Energieeffizienz für „Always-on“-Anwendungen signifikant steigern. Die Nutzung on-chip intelligenter Energiemanagement-Mechanismen und -Strategien kann Sensorflexibilität und -nutzbarkeit weiter verfeinern; Prophesees Lösungen haben reduzierten Stromverbrauch auf 36 µW mit aktivierter Smart-Wake-on-Events-Funktionalität demonstriert. Zusätzlich unterstützen Deep-Sleep- und Standby-Modi.

Spezifische Überlegungen für einen Event-Sensor, der IoT-Anwendungen zielt, umfassen: Mikrosekunden-Auflösung Zeitstempelung von Ereignissen mit minimaler Latenz sowie nahtlose Schnittstellenfähigkeiten mit Standard-SoCs durch integrierte Event-Daten-Vorverarbeitungsfunktionen. Die Nutzung von MIPI- oder CPI-Ausgangsschnittstellen gewährleistet schnelle Konnektivität mit eingebetteten Verarbeitungsplattformen wie Low-Power-Mikrocontrollern und modernen neuromorphen Prozessorarchitekturen. Sensor-Level-Privatsphäre wird durch die spärlichen framelosen Event-Daten von Event-Sensoren gewährleistet und umfasst statische Szenenentfernung.

Event-basierte Sensoren entwickeln sich weiter, um den Bedürfnissen einer breiteren Anwendungsreihe gerecht zu werden. Prophesees neuester Sensor, der GenX320, macht ihn gut geeignet für die Anforderungen vieler IoT-Anwendungsfälle, die in niedriger Leistung und kleinen Formfaktor-Systemen operieren müssen. (Bild: Prophesee)

Event-basierte Sensoren werden nun in einer breiteren Palette von Anwendungen genutzt. Durch die Integration dieser Sensoren mit IoT-Plattformen erfüllen Produktentwickler spezifische Marktanforderungen bezüglich Stromverbrauch und Größe. Anwendungsfälle umfassen foveated Rendering für verbesserte AR/VR-Erfahrungen, Eye-Tracking für Mensch-Maschine-Schnittstellen und Sicherheitsanwendungen wie Fahrermonitoringsysteme und Emotionserkennung. Sie unterstützen auch Always-on-Fähigkeiten für Sicherheitszwecke wie Sturzerkennungskameras und Gesten-/Handtracking für immersive Schnittstellen. Im AR/VR-Bereich ermöglichen Anwendungen wie Inside-Out-Tracking und Constellation-Tracking basierend auf flimmernden LCDs präzises Objekt- oder Controller-Tracking.

Weitere neue Anwendungsfälle, ermöglicht durch Fortschritte in der Siliziumtechnologie, sind in Entwicklung, einschließlich Hochgeschwindigkeits-Strukturlicht-3D-Technologie, die Punktwolkengenerierung bei Kilohertz-Wiederholraten für industrielle Anwendungen ermöglicht. Datenschutzbewusste Smart-Home-Systeme wie Sturzerkennungseinheiten verbreiten sich breiter, da die Visionstechnologie Datenschutzbedenken adressiert, indem sie keine Bilder erfasst oder überträgt.

Ereignisbasierte Vision ist auf dem besten Weg, sich als Paradigma zu etablieren, das einen neuen Standard in vielen Märkten schafft, die Effizienz darin erfordern, wie Maschinen sehen können. In den vergangenen Jahren hat sie sich erfolgreich entwickelt, um eine breitere Palette von Anwendungen zu bedienen. Und indem sie weiterhin adaptiert und die Anforderungen vieler Anwendungen adressiert, werden wir mehr ereignisbasierte Kameras um uns herum sehen.

Dieser Artikel wurde von Luca Verre, CEO und Mitgründer, Prophesee (Paris, Frankreich), verfasst. Weitere Informationen finden Sie hier.