Neuromorphe Vision treibt Durchbrüche von der Medizin bis ins All

Prophesees ereignisbasierte Visionssensoren verändern bereits eine Vielzahl von Bereichen – von der Wiederherstellung des Sehvermögens bei Patienten bis zur Erkennung von Weltraumschrott bei Nacht. Mit einer globalen Community von 2.200 Entwicklern beweist die Technologie des Unternehmens, dass schnelle, energieeffiziente Vision greifbare Ergebnisse in realen Anwendungen liefern kann.

Wiederherstellung des Sehvermögens bei einem blinden Patienten

Gensight Biologics kooperierte mit Prophesee, um Brillen zu entwickeln, die visuelle Informationen in bernsteinfarbenes Licht (590 nm) umwandeln. Dieses Licht aktiviert photosensible Proteine, die auf die Netzhaut des Patienten appliziert wurden, sodass das Auge das Signal interpretieren kann. Nach siebenmonatiger Nutzung konnte der ehemals blinde Patient einen Zebrastreifen erkennen, ein Notizbuch auf einem Tisch zu 92 % der Zeit ausmachen und ein Federmäppchen zu 36 % der Zeit detektieren. Er schaffte es auch, Gegenstände zu greifen und zu zählen. Die Studie, in Nature Medicine in Zusammenarbeit mit der Universität Basel-UPMC veröffentlicht, demonstriert die Fähigkeit des Sensors, schnelle, kontinuierliche visuelle Daten ohne den Overhead einer Bild-Neucodierung zu liefern.

Neuromorphe Vision treibt Durchbrüche von der Medizin bis ins All — Gensight Biologics Brillen wandeln Bilder in bernsteinfarbenes Licht um, sodass modifizierte Netzhautzellen die Welt wahrnehmen können. (Quelle: Gensight Biologics / Prophesee)

Beschleunigung der Zelltherapie-Herstellung

Die Herstellung patientenspezifischer Zelltherapien ist zeitaufwendig und kostspielig – eine durchschnittliche Dosis kann 475.000 Dollar kosten. Cambridge Consultants nutzte Prophesees Sensor, um Zellkulturen in Echtzeit zu überwachen und bakterielle Kontaminanten in unter 18 ms zu detektieren – im Gegensatz zu den traditionellen 7–14 Tagen Inkubation. Das PureSentry-System kann Erreger wie E. coli identifizieren, verfolgen und klassifizieren, während es bei schwachem Licht und hohen Durchflussraten arbeitet. Dies ermöglicht einen nicht-destruktiven, automatisierten Sterilitätstest, der den Bedarf an hochqualifizierten Technikern reduziert.

Mikrofluidisches Partikel-Tracking

Ein Konsortium von Universitäten (Glasgow, Heriot-Watt, Strathclyde) nutzte Prophesees Sensor, um 1-µm-Partikel bei 1,54 m/s mit einer zeitlichen Auflösung von 20.000 Bildern pro Sekunde zu erfassen. Das Setup, das den Sensor mit einem Standard-Fluoreszenzmikroskop kombiniert, verspricht schnellere und günstigere mikrofluidische Analysen.

Robotische taktile Vision

Forscher der National University of Singapore kombinierten Prophesees ereignisbasierte Vision mit einem neuartigen Tast-Array – NeuTouch –, um Roboterarmen einen Tastsinn zu verleihen. Der 39-Pixel-„Tactel“-Array in Größe einer menschlichen Fingerspitze erzeugt Spike-Signale, die ein Intel Loihi neuromorpher Prozessor zusammen mit visuellen Daten interpretiert. Der Roboter lernte, Behälter mit unterschiedlichem Flüssigkeitsinhalt aufzunehmen und sowohl Typ als auch Gewicht durch Beobachtung der Behälterverformung zu bestimmen. In einem Rutschtest detektierte die kombinierte Sensorsuite Rutschbewegungen 1.000-mal schneller als der menschliche Tastsinn und identifizierte Rotationsrutschen in nur 0,08 s.

Verfolgung von Weltraumschrott

Die mobile Astrosite-Sternwarte der Western Sydney University koppelt Prophesee-Sensoren mit Teleskopen, um umlaufenden Schrott zu überwachen. Mit 4.850 Satelliten im Orbit und nur ca. 40 % aktiven ist passives Debris-Tracking essenziell. Herkömmliche Kameras produzieren übermäßige Datenmengen und kämpfen bei Tageslicht. Astrosites ereignisbasierter Ansatz generiert 10- bis 1.000-mal weniger Daten und ermöglicht kontinuierliche Überwachung mit Mikrosekunden-Auflösung bei geringem Stromverbrauch – sowohl bei Tag als auch bei Nacht.