Revolutionierung der maschinellen Bildverarbeitung:Wie Ereignissensoren eine schnellere und intelligentere Bildverarbeitung ermöglichen

Der Anstieg der von Kameras generierten Inhalte im Verbraucher- und Industriesektor hat die Kapazität von Maschinen, visuelle Daten effektiv zu erfassen, zu verarbeiten und auf praktische und effiziente Weise zu nutzen, belastet. Zu den aktuellen Herausforderungen gehören:Es werden überwältigende Datenmengen gesammelt (von denen viele für Maschinen irrelevant sind); unzureichende Verarbeitungskapazitäten (insbesondere bei Anwendungen, die durch Größe und Leistung eingeschränkt sind):und die Nachfrage nach Echtzeitverarbeitung. Daher suchen Entwickler von bildgestützten Systemen – von Smartphones, Wearables, Smart Homes, IoT, Systemen, Automobiltechnologien bis hin zu industriellen Automatisierungsgeräten – nach Möglichkeiten, den traditionellen Ansatz der Bilderfassung und Datenerfassung zu transformieren.

Obwohl die Kameratechnologie ihren Ursprung in der Bereitstellung von Bildern für den menschlichen Gebrauch hat, erweist sich der Fortschritt der Kameratechnologie im Laufe ihrer Geschichte – der hauptsächlich auf rahmenbasierten Methoden beruht – als unzureichend, um den Anforderungen der modernen maschinellen Bildverarbeitung gerecht zu werden. Seit Jahren ist die maschinelle Bildverarbeitung auf visuelle Informationen angewiesen, die für die menschliche Interpretation erfasst und strukturiert werden:Videostreams, die aus aufeinanderfolgenden Bildern bestehen, die von einem Bildsensor erfasst werden. Jedes Bild stellt einen statischen Schnappschuss zu einem bestimmten Zeitpunkt dar, dem dynamische Informationen fehlen. Diese Methode zur Erfassung visueller Daten ist in den meisten Bildverarbeitungssystemen weit verbreitet, die für die Überwachung von Veränderungen und Bewegungen in dynamischen Umgebungen konzipiert sind.

Der ereignisbasierte Vision-Ansatz nutzt neuromorphe Techniken, die vom menschlichen Sehsystem inspiriert sind, und zielt darauf ab, die Effizienz und Leistung in verschiedenen bildgestützten Systemen in den Bereichen Verbraucher, Industrie, Automobil und anderen Sektoren zu verbessern, um Sicherheit, Produktivität und Benutzererfahrung zu verbessern. (Bild:Prophesee)

Die größte Herausforderung entsteht, wenn eine Szene bewegt oder verändert wird, was bei den meisten Bildverarbeitungsanwendungen üblich ist, und die inhärenten Einschränkungen der visuellen Bilderfassung deutlich werden. Unabhängig von der eingestellten Bildrate ist die Kamera immer ungenau, wenn sie versucht, eine bewegte Szene aufzunehmen. Da verschiedene Teile einer Szene typischerweise gleichzeitig unterschiedliche Dynamiken aufweisen, führt die Verwendung einer einzigen Abtastrate zur Regulierung der Pixelbelichtung über ein Bildarray zwangsläufig zu einer unzureichenden Erfassung dieser unterschiedlichen Szenendynamiken, die gleichzeitig auftreten.

Weniger ist mehr bei der Erkennung von Ereignissen

Erschwerend kommt hinzu, dass herkömmliche Bildsensoren langsam und energieintensiv sind, übermäßig redundante Daten erzeugen und einen begrenzten Dynamikbereich haben, was sie für Bildverarbeitungsaufgaben, insbesondere in anspruchsvollen Betriebsumgebungen, ungeeignet macht. Folglich entstehen nun biologisch inspirierte „neuromorphe“ ereignisbasierte Bildverarbeitungssysteme als Alternativen, die höhere Geschwindigkeit, minimale Latenz, bessere Energieeffizienz und einen größeren Dynamikbereich bieten und sich gut für verschiedene Bildverarbeitungsanwendungen eignen.

Ereignisbasiertes Sehen markiert einen Paradigmenwechsel in der Art und Weise, wie visuelle Informationen für moderne maschinelle Bildverarbeitungsanwendungen erfasst und verarbeitet werden. Dieser Ansatz nutzt neuromorphe Techniken, die vom menschlichen Sehsystem inspiriert sind, und zielt darauf ab, die Effizienz und Leistung in verschiedenen bildgestützten Systemen in den Bereichen Verbraucher, Industrie, Automobil und anderen Sektoren zu verbessern, um Sicherheit, Produktivität und Benutzererfahrung zu verbessern.

Die ereignisbasierte Bildverarbeitung funktioniert anders als herkömmliche Kameras, da sie von einer einheitlichen Erfassungsrate für alle Pixel abweicht. Stattdessen bestimmt jedes Pixel dank der dedizierten Intelligenz jedes Pixels unabhängig seinen Abtastzeitpunkt basierend auf Änderungen des Lichteinfalls. Informationen zur Kontrasterkennung sind in „Ereignissen“ gekapselt, die aus den x- und y-Koordinaten des Pixels und der genauen Ereignisgenerierungszeit bestehen. Mit den patentierten ereignisbasierten Sensoren von Prophesee werden beispielsweise Pixel bei der Erkennung von Kontraständerungen (Bewegung) intelligent aktiviert und ermöglichen so die kontinuierliche Erfassung wesentlicher Bewegungsdetails auf Pixelebene.

Der Unterschied beim Übergang von festen Bildraten besteht darin, dass jedes Pixel seine Abtastrate entsprechend seiner visuellen Eingabe anpassen kann. Dieser personalisierte Ansatz ermöglicht es jedem Pixel, seine Abtastpunkte zu bestimmen, indem es auf Schwankungen der einfallenden Lichtstärke reagiert. Folglich wird der Abtastvorgang nicht mehr durch eine künstliche Zeitquelle bestimmt, sondern vielmehr durch das Signal selbst oder insbesondere durch zeitliche Signalamplitudenschwankungen. Das von solchen Kameras erzeugte Ergebnis entwickelt sich aus Bildsequenzen zu einem kontinuierlichen Strom einzelner Pixeldaten, die bedingt auf der Grundlage der Szenendynamik generiert werden.

Ereignissensoren bieten mehrere Vorteile, darunter einen Hochgeschwindigkeitsbetrieb (entspricht 10.000 fps), einen hocheffizienten Stromverbrauch (bis in den Mikrowattbereich), eine geringe Latenz für schnellere Reaktionszeiten, einen reduzierten Datenverarbeitungsbedarf (10–10.000-mal weniger als rahmenbasierte Systeme) und einen hohen Dynamikbereich von bis zu 120 dB. Diese Eigenschaften machen Ereignissensoren für verschiedene Anwendungen und Produkte geeignet.

Ereignisbasierte Vision anwenden

Neuromorphic-fähige Ereignissensoren können für eine Vielzahl industrieller Automatisierungsaufgaben eingesetzt werden und tragen zur Verbesserung von Produktivität, Qualität, Sicherheit und vorbeugender Wartung bei. (Bild:Prophesee)

Ursprünglich wurden neuromorphe Ereignissensoren nicht in Maschinen, sondern bei Menschen kommerziell eingesetzt, um das Sehvermögen sehbehinderter Menschen wiederherzustellen. Dies führte zu Anwendungsfällen in der industriellen Automatisierung und Prozessüberwachung. Diese Anwendungen demonstrierten die Vorteile von Ereignissensoren für zahlreiche Bildverarbeitungsaufgaben, insbesondere solche mit sich schnell bewegenden und wechselnden Elementen, unvorhersehbaren Umgebungslichtbedingungen und begrenzten Ressourcen. Nachfolgende Generationen ereignisbasierter Systeme wurden in industriellen Umgebungen für Aufgaben wie Hochgeschwindigkeitszählung, vorbeugende Wartung (z. B. Vibrationsüberwachung), Verbesserung der Effizienz und Sicherheit von Robotern, Blickverfolgung oder Gestenverfolgung für AR/VR sowie verschiedene Logistik- und Sicherheitsanwendungen eingesetzt.

Diese inhärenten Vorteile machen Ereignissensoren ideal für IoT-Anwendungen. Der Stromverbrauch spielt bei IoT-Geräten eine entscheidende Rolle, insbesondere bei solchen, die auf Batterien basieren. Für solche Szenarien eignet sich ereignisbasiertes Sehen gut, da es im Vergleich zu bildbasierten Kamerasystemen mit deutlich geringerem Stromverbrauch arbeitet. Darüber hinaus zeichnen sich ereignisbasierte Kameras aufgrund ihrer lichtunabhängigen Informationsverarbeitung auch bei anspruchsvollen Lichtverhältnissen aus, die in vielen IoT-Anwendungen vorkommen. Ihr hoher Dynamikbereich ermöglicht es ihnen, ein breites Spektrum an Lichtintensitäten in einem einzigen Bild zu erfassen, was sie perfekt für Umgebungen mit wechselnden Lichtverhältnissen wie Außenszenen mit hellem Sonnenlicht oder Nachtaufnahmen macht.

Mit einem Dynamikbereich von mehr als 120 dB können ereignisbasierte Kameras auch in Umgebungen effektiv funktionieren, in denen herkömmliche Kameras mit unterschiedlichen Lichtverhältnissen zu kämpfen haben – sei es in extrem hellen Umgebungen wie öffentlichen Räumen oder Fahrzeugen während des Tages oder in schwach beleuchteten Szenarien wie Nachtbetrieben oder dunklen Fabrikumgebungen, in denen Ereignissensoren für vorbeugende Wartungs- und Sicherheitsüberwachungsaufgaben eingesetzt werden können. (Bild:Prophesee)

Mit einem Dynamikbereich von mehr als 120 dB können ereignisbasierte Kameras auch in Umgebungen effektiv funktionieren, in denen herkömmliche Kameras mit unterschiedlichen Lichtverhältnissen zu kämpfen haben – seien es extrem helle Umgebungen wie öffentliche Räume oder Fahrzeuge während des Tages oder schwach beleuchtete Szenarien wie Nachtbetriebe oder dunkle Fabrikumgebungen. Darüber hinaus bieten diese Kameras eine minimale Latenz, da sie Informationen nur dann übertragen, wenn sich die Helligkeit innerhalb der Szene ändert. Die Reaktion in Echtzeit erweist sich bei sich schnell ändernden Lichtsituationen als vorteilhaft, beispielsweise bei abrupten Wechseln von hell zu dunkel oder umgekehrt. Ereignisbasierte Kameras, die individuelle Änderungen der Lichtintensität erkennen, sind im Vergleich zu herkömmlichen bildbasierten Kameras weniger anfällig für Bewegungsunschärfe.

Diese Funktion ist besonders in Szenarien mit schnellen Bewegungen wertvoll und sorgt für eine scharfe Bildqualität. Für Kameras in Smartphones werden derzeit neue Anwendungen entwickelt, die sich diesen Vorteil zunutze machen, beispielsweise die Partnerschaft von Prophesee mit Qualcomm zur Integration seiner ereignisbasierten Technologie in die beliebte Snapdragon-Plattform.

Die weitere Entwicklung von Ereignissensoren für das IoT umfasst deren Anpassung an Edge-Vision-Aufgaben mit eingeschränkten Onboard-Rechenkapazitäten aufgrund der Erfassung spärlicher Daten. Herausforderungen wie unkonventionelle Datenformate, variable Datenraten und nicht standardmäßige Schnittstellen haben jedoch eine breitere Akzeptanz behindert. Um dieses Problem anzugehen, zielt die neueste Generation von Ereignissensoren, am Beispiel des GenX320 von Prophesee, darauf ab, die Integration und Benutzerfreundlichkeit in eingebetteten Edge-Vision-Systemen zu verbessern, indem Funktionen wie Vorverarbeitung und Formatierung von Ereignisdaten, kompatible Datenschnittstellen und Konnektivität mit geringer Latenz mit verschiedenen Verarbeitungsplattformen, einschließlich energieeffizienter neuromorpher Prozessoren, integriert werden. Beispielsweise bietet der GenX320 mehrere Vorverarbeitungsfunktionen, anpassbare Schnittstellen und Energieverwaltungsoptionen, um energieempfindliche Bildverarbeitungsanwendungen effizient zu bedienen.

Trotz ihrer betrieblichen Effizienz bleibt die Optimierung von Ereignissensoren für einen geringen Stromverbrauch, der für IoT-Setups geeignet ist, von entscheidender Bedeutung. Die Implementierung einer Reihe von Leistungsmodi und anwendungsspezifischen Betriebsmodi kann die Energieeffizienz für „Always-on“-Anwendungen erheblich verbessern. Durch den Einsatz intelligenter Energieverwaltungsmechanismen und -strategien auf dem Chip können die Flexibilität und Benutzerfreundlichkeit von Sensoren weiter verbessert werden. Die Lösungen von Prophesee haben mit aktivierter Smart-Wake-on-Events-Funktionalität einen reduzierten Stromverbrauch von bis zu 36 uW gezeigt. Darüber hinaus kann die Unterstützung des Tiefschlaf- und Standby-Modus von Vorteil sein.

Spezifische Überlegungen für einen Ereignissensor für IoT-Anwendungen umfassen die Erzielung einer Zeitstempelung von Ereignissen mit Mikrosekundenauflösung und minimaler Latenz sowie nahtlose Schnittstellenfunktionen mit Standard-SoCs durch integrierte Funktionen zur Vorverarbeitung von Ereignisdaten. Die Nutzung von MIPI- oder CPI-Ausgabeschnittstellen gewährleistet eine schnelle Konnektivität mit eingebetteten Verarbeitungsplattformen wie Mikrocontrollern mit geringem Stromverbrauch und modernen neuromorphen Prozessorarchitekturen. Der Datenschutz auf Sensorebene wird durch die spärlichen rahmenlosen Ereignisdaten der Ereignissensoren gewährleistet und umfasst die Entfernung statischer Szenen.

Ereignisbasierte Sensoren entwickeln sich ständig weiter, um den Anforderungen eines breiteren Anwendungsspektrums gerecht zu werden. Der neueste Sensor von Prophesee, der Genx320, eignet sich gut für die Anforderungen vieler IoT-Anwendungsfälle, die in Systemen mit geringerem Stromverbrauch und kleinem Formfaktor betrieben werden müssen. (Bild:Prophesee)

Ereignisbasierte Sensoren werden mittlerweile in einem breiteren Anwendungsspektrum eingesetzt. Durch die Integration dieser Sensoren in IoT-Plattformen können Produktentwickler spezifische Marktanforderungen in Bezug auf Stromverbrauch und Größe erfüllen. Zu den Anwendungsfällen gehören Foveated-Rendering für verbesserte AR/VR-Erlebnisse, Eye-Tracking für Mensch-Maschine-Schnittstellen und Sicherheitsanwendungen wie Fahrerüberwachungssysteme und Emotionserkennung. Sie unterstützen auch Always-On-Funktionen für Sicherheitszwecke wie Sturzerkennungskameras und Gesten-/Handverfolgung für immersive Schnittstellen. Im AR/VR-Bereich ermöglichen Anwendungen wie Inside-Out-Tracking und Konstellationsverfolgung auf Basis flackernder LCDs eine präzise Objekt- oder Controller-Verfolgung.

Weitere neue Anwendungsfälle, die durch Verbesserungen in der Siliziumtechnologie ermöglicht werden, sind in der Entwicklung, einschließlich der Hochgeschwindigkeits-3D-Technologie mit strukturiertem Licht, die die Erzeugung von Punktwolken mit Kilohertz-Wiederholungsraten für industrielle Anwendungen ermöglicht. Auch datenschutzbewusste Smart-Home-Systeme wie Sturzerkennungssysteme verbreiten sich immer weiter, da die Vision-Technologie Datenschutzbedenken dadurch berücksichtigt, dass sie keine Bilder erfasst oder überträgt.

Das ereignisbasierte Sehen ist auf dem besten Weg, sich als Paradigma zu etablieren, das in vielen Märkten einen neuen Standard schaffen wird, der Effizienz bei der Sichtbarkeit von Maschinen erfordert. In den letzten Jahren wurde es erfolgreich weiterentwickelt, um einem breiteren Anwendungsspektrum gerecht zu werden. Und indem wir uns weiterhin an die Anforderungen vieler Anwendungen anpassen und darauf eingehen, werden wir überall um uns herum mehr ereignisbasierte Kameras sehen.

Dieser Artikel wurde von Luca Verre, CEO und Mitbegründer von Prophesee (Paris, Frankreich), verfasst. Weitere Informationen finden Sie hier  .