Neuromorphes Sehen bietet vielfältige Anwendungen

Das ereignisbasierte Vision-Unternehmen Prophesee hat einige interessante Anwendungen für seine Vision-Sensoren aus der ganzen Welt präsentiert, die Biotechnologie, wissenschaftliche Analyse, Robotik und Weltraumtechnologien umfassen. Ein Projekt stellte einem Blinden teilweise das Sehvermögen wieder her; ein anderer verfolgt Weltraumschrott über den Himmel, egal ob es Tag oder Nacht ist.

Prophesee sagte, dass es heute eine Gemeinschaft von 2200 Erfindern gibt, die mit seiner Technologie arbeiten. Die Projekte werden als Teil der Erfindergemeinschaft von Prophesee präsentiert, die darauf abzielt, zukünftige Kreativität zu inspirieren. Hier sind die Details.

Wiederherstellung der Sehkraft

Gensight Biologics hat die Sehfunktion bei einem Patienten mit Retinitis pigmentosa im Spätstadium teilweise wiederhergestellt. Die Behandlung verwendet eine spezielle Schutzbrille, die mit einem ereignisbasierten Sehsensor von Prophesee ausgestattet ist.

Im Rahmen der Therapie wurde die Netzhaut des Patienten mit lichtempfindlichen Proteinen aus Algen behandelt, die Netzhautzellen gegenüber Bernsteinlicht (590 nm) empfindlich machen. Der Sehsensor von Prophesee ist Teil einer Schutzbrille, die das Sehsignal in hochintensives bernsteinfarbenes Licht umwandelt, das in das Auge des Patienten gestrahlt wird. Nach sieben Monaten Benutzung der Brille konnte der Patient (der zuvor völlig blind war) gut genug sehen, um einen auf der Straße markierten Fußgängerüberweg zu erkennen. Er konnte ein Notizbuch auf einem Tisch vor ihm (92% der Zeit) und ein Federmäppchen (36% der Zeit) identifizieren. Er konnte nach Gegenständen greifen und sie zählen.

Gensight Biologics hat den Prophesee-Sensor in eine Brille integriert, die Bilder der Welt in bernsteinfarbenes Licht übersetzt. Modifizierte Zellen auf der Netzhaut des Patienten sind in der Lage, dieses Licht zu erkennen und zu verstehen. (Quelle:Gensight Biologics / Prophesee)

Der Patient sieht die Kanten von Formen dank des Prophesee-Sensors, der ein schnelles und reibungsloses visuelles Erlebnis bietet, das gegenüber Lichtverhältnissen robust ist. Der Sensor erzeugt spärliche Daten; Es wird keine Zeit damit verbracht, Bilder neu zu kodieren.

Die Ergebnisse der Studie, die in Zusammenarbeit mit der Universität Basel-UPMC durchgeführt wurde, wurden in Nature Medicine veröffentlicht. Obwohl diese Arbeit nur einen Patienten betraf und vorläufig ist, sollte sie als signifikantes Ergebnis für die Anwendung dieser Technik und die Behandlung von Patienten mit neurodegenerativen Erkrankungen und mehr angesehen werden.

Zelltherapie

Cambridge Consultants in Großbritannien hat den Prophesee-Sensor in einem medizinischen Bildgebungssystem für die Zelltherapie verwendet. Die Zelltherapie birgt unter anderem das Potenzial zur Behandlung von Krebs, Autoimmun- und neurologischen Erkrankungen, die auf der Reprogrammierung der eigenen Zellen des Patienten basiert. Die Herstellung der reprogrammierten Zellen ist ein mühsamer, manueller Prozess, bei dem eine Einzeldosis durchschnittlich 475.000 US-Dollar kostet.

Ein wichtiger Schritt im Prozess prüft, ob die Proben steril sind. Dies kann 7-14 Tage für die Inkubation dauern, während der Patient auf die Behandlung wartet. Werden Verunreinigungen festgestellt, müssen neue Proben genommen werden und die Inkubationszeit beginnt von neuem. Cambridge Consultants verwendete den Bildsensor von Prophesee, um Proben auf Zellebene zu untersuchen, mit KI-Modellen, um Verunreinigungen in Echtzeit zu erkennen, zu verfolgen und zu klassifizieren (<18 ms im Vergleich zu 7-14 Tagen).

PureSentry verwendet den Prophesee-Sensor in Kombination mit KI, um Verunreinigungen (in diesem Fall E.coli) basierend auf Größe, Form und Bewegung zu erkennen. (Quelle:Cambridge Consultants)

Das von Cambridge Consultants entwickelte PureSentry-System kann sowohl menschliche Zellen als auch Verunreinigungen mit Präzision und Genauigkeit vor anderen Techniken verfolgen. Das Unternehmen zeigte ein Video von E.Coli-Bakterien, die in einer Probe aufgrund ihrer Größe, Form und charakteristischen Bewegung nachgewiesen wurden. Es funktioniert unter schwierigeren Bedingungen, wie z. B. bei schwachem Licht und hohen Durchflussraten, und ist eine zerstörungsfreie Prüfung. Dieses Gerät kann dazu beitragen, die Automatisierung des Zelltherapieprozesses zu erhöhen; hochqualifizierte Techniker sind nicht erforderlich.

Partikel verfolgen

Ein Team der University of Glasgow, der Heriot-Watt University und der University of Strathclyde hat den Bildsensor von Prophesee für die Hochgeschwindigkeits-Partikelerkennung und -verfolgung verwendet. Ziel ist es, die mikrofluidische Analyse schneller und kostengünstiger zu machen.

Dem Team gelang es, Partikel bis zu 1 µm in Flüssigkeitsgeschwindigkeiten von bis zu 1,54 m/s zu profilieren und Daten mit einer Zeitauflösung von 20.000 Bildern pro Sekunde zu erfassen. Ihr Setup verwendet den ereignisbasierten Vision-Sensor von Prophesee mit einem Standard-Fluoreszenzmikroskop und Beleuchtung.

Roboter-Touch

Forscher der National University of Singapore verwenden ereignisbasiertes Sehen in Kombination mit einer neuen Berührungssensortechnologie, um einen Tastsinn für Roboterarme und -hände aufzubauen.

Der von den Forschern entwickelte Berührungssensor NeuTouch ist eine Anordnung von 39 Sensoren, die an der Fingerspitze des Roboters angebracht sind. Dieser Sensor erzeugt „Spike“-Signale, ähnlich dem Prophesee-Sensor, die von einem neuromorphen Prozessor (insbesondere Intel Loihi) verarbeitet werden können.

Der NeuTouch-Sensor der National University of Singapore ist in der Größe mit einem menschlichen Finger (A) vergleichbar, besteht aus Teilen analog zu Knochen und Haut (B) und enthält 39 taktile Pixel oder „Taktel“ (C). (Quelle:National University of Singapore / Prophesee)

Diese Arbeit ist wichtig, weil sie eine Möglichkeit zeigt, Daten von mehreren Sensoren (dem Berührungssensor und dem Prophesee-Sensor) gleichzeitig zu integrieren und Bedeutungen zu extrahieren, die für komplexe Aufgaben in leistungsbeschränkten Systemen geeignet sind.

Der Roboter wurde darauf trainiert, Behälter mit unterschiedlichen Flüssigkeitsmengen aufzunehmen; es war in der Lage zu bestimmen, was die Flüssigkeit war und wie viel sie wog. Die Gewichtsinformationen stammen vom Vision-Sensor, da sich jeder Behälter beim Aufnehmen verformte.

Getestet wurde der Roboter mit dem „Rutschtest“ – Ermittlung des Mindestdrucks, der zum sicheren Greifen des Objekts erforderlich ist. Eine Kombination aus Berührungs- und Sichterkennung bedeutete, dass das System Rutschen sehr schnell erkennen konnte, 1000-mal schneller als menschliche Berührungen, und erkannte Rotationsrutschen in 0,08 Sekunden.

Die Forscher hoffen, dass diese Technologie für die Industrierobotik eingesetzt werden kann und sogar den Tastsinn von Handprothesen wiederherstellen kann.

Lesen Sie EE-Zeiten “ berichten hier über diese spannende Technologie.

Weltraummüll

Die Western Sydney University hat Astrosite entwickelt, ein mobiles Observatorium, das die Prophesee-Technologie in Kombination mit Teleskopen verwendet, um Weltraumschrott im Orbit um die Erde zu verfolgen.

Einsatzbereite Astrosite-Teleskop-Observatorien (Quelle:Western Sydney University)

Durch die wachsende Zahl von Satelliten im Orbit steigt die Gefahr, mit anderen Objekten zu kollidieren; Es gibt etwa 4850 Satelliten im Weltraum, aber nur etwa 40 % sind aktiv. Die Überwachung toter Satelliten und anderer Trümmer erfolgt normalerweise mit hochauflösenden Kameras, die für die Aufnahme von Bildern bei Tageslicht nicht ideal sind. Sie nehmen auch größtenteils leeren Speicherplatz ein, was dazu führt, dass viele unnötige Daten verarbeitet werden.

Ereignisbasiertes Sensing ist eine gute Lösung, da es Daten über Änderungen in seinem Sichtfeld erfasst. Astrosite erzeugt mit dem ereignisbasierten Sensor von Prophesee 10x bis 1000x weniger Daten als ein herkömmliches Kamerasystem. Es kann auch kontinuierlich (Tag und Nacht) Schmutz mit einer Zeitauflösung von Mikrosekunden bei geringer Leistung überwachen.

>> Dieser Artikel wurde ursprünglich auf unserer Schwesterseite EE Times Europe veröffentlicht.

---

Verwandte Inhalte:

• Neuromorphe KI-Chips für das Spiking neuronaler Netze debütieren
• Sensorfusion ermöglicht Robotergriff
• Gestapelte Sensorarchitektur bietet erweiterte Bildverarbeitungsfunktionen
• Der maschinelle Lernalgorithmus nutzt die ReRAM-Variabilität
• Tools Steigen Sie in der Wertschöpfungskette auf, um das Mysterium der Vision AI zu beseitigen

Für mehr Embedded, abonnieren Sie den wöchentlichen E-Mail-Newsletter von Embedded.