Gestapelte Sensorarchitektur bietet erweiterte Bildverarbeitungsfunktionen

PARIS  — Prophesee, ein in Paris ansässiges Startup, das Pionierarbeit bei neuromorphen Bildverarbeitungssystemen geleistet hat, präsentierte diese Woche auf der International Solid-State Circuits Conference (ISSCC) in San Francisco einen neuen, gestapelten ereignisbasierten Bildsensor, der gemeinsam mit Sony Corp. entwickelt wurde.

Der neue Sensor wurde mit der ereignisgesteuerten Technologie von Prophesee entwickelt und basiert auf Technologien, die von Sony für fortschrittliche gestapelte CMOS-Bildsensoren entwickelt wurden.

Pixelchip (links) und Logikchip (Quelle:Prophesee)

Für ereignisgesteuerte Systeme bietet der neue Sensor die kleinste Pixelgröße der Branche und die branchenweit höchste HDR-Leistung (High Dynamic Range), behauptete Prophesee. Der vom Gehirn inspirierte Sensor würde es Industriemaschinen, Robotern und autonomen Fahrzeugen ermöglichen, die Umgebung besser zu sehen und zu spüren.

Die Partnerschaft könnte eine neue Ära einläuten, in der KI – sowohl KI-Erfassung als auch KI-Verarbeitung – sehr nahe am Sensor stattfinden könnte, wenn nicht noch am Sensor selbst, wo die Daten generiert werden.

Luca Verre, CEO von Prophesee

Was haben die beiden Unternehmen davon?

Sony ist der weltweit führende Hersteller von CMOS-Bildsensoren. Die Partnerschaft verleiht der neuen Sensortechnologie von Prophesee kommerzielle Glaubwürdigkeit. Luca Verre, CEO von Prophesee, hofft, dass der Wechsel den ereignisbasierten Kameras von Prophesee die Tür zu Massenmarktchancen öffnet.

„Angesichts der Natur unserer Technologie, die viele Transistoren, Elektronik und Fotodioden verwendet, war die Zusammenarbeit mit Sony immer unsere erste Wahl“, sagte Verre gegenüber EE Times . Die Unternehmen begannen 2017 mit der Zusammenarbeit. Verre versprach, dass Muster der ersten gestapelten ereignisbasierten Vision-Sensoren im Jahr 2020 erhältlich sein werden.

Die Partnerschaft mit Prophesee könnte sich für Sony als wegweisend erweisen und dem japanischen Giganten die Möglichkeit geben, ereignisgesteuerte Vision-Technologie zu erkunden.

Büchse der Pandora

Pierre Cambou, leitender Analyst bei Yole Développement, betrachtet die Partnerschaft zwischen Prophesee und Sony als gleichwertig mit dem „Öffnen der Büchse der Pandora“.

Pierre Cambou

In der von Prophesee entwickelten neuromorphen Kamera ist „jeder Pixel im Wesentlichen ein Neuron“, bemerkte Cambou. Cambou nannte die Chip-Stacking-Entwicklung „noch in einer frühen Phase“ und sagte voraus, dass auf der ganzen Linie Neuronen, Speicher und Verarbeitung alle zusammen gestapelt werden könnten. Der aktuelle Enthusiasmus, mehr Intelligenz an "Edge" oder "Endpoint" zu bringen, lässt einen Tag in der Zukunft ahnen, an dem KI im Sensor erkannt und verarbeitet wird.

Sony wird in der Lage sein, einen KI-integrierten Bildsensor zu entwickeln, der „Bilder im Handumdrehen verbessern kann“ oder einen Bildsensor entwickeln, der „direkt eine ereignisbasierte Erfassung bietet“, erklärte Cambou.

Tatsächlich hat jemand neuronale Netze bereits auf "Ankunft eines Zuges in La Ciotat" angewendet  – ein berühmter früher Film, der 1896 von den Lumiere-Brüdern gedreht wurde – um fehlende Pixel zu ergänzen. Dieser Aufwand ermöglichte es, den 124 Jahre alten Film wiederzubeleben und auf 4K-Video mit 60 Bildern pro Sekunde hochzuskalieren. Cambou beschrieb solch hochskalierte Videos als den letzten Schrei im Internet und erklärte, dass sich die Leistungsfähigkeit der KI in der Welt der Bildgebung bestens bewährt hat.

Der Biomimicry-Ansatz für KI ist eine Alternative zum Von-Neumann-Computing. „Mit zunehmender Verbreitung von KI wird es an Bedeutung gewinnen“, sagte Cambou.

„Ankunft eines Zuges in La Cicotat“, ursprünglich von den Lumiere Brothers im Jahr 1896 gedreht, wurde auf 4K, 60 Bilder pro Sekunde, hochskaliert von Denis Shiryaev

Bausteine ​​für gestapelte ereignisbasierte Bildverarbeitungssensoren

Bei dem neu entwickelten ereignisgesteuerten Sensor sind der Pixelchip (oben) und der Logikchip (unten) übereinander gestapelt. Die Logik enthält Signalverarbeitungsschaltungen, die auf der Grundlage eines asynchronen Delta-Modulationsverfahrens Helligkeitsänderungen erkennen.

Jedes Pixel der beiden einzelnen Chips ist über eine Kupfer-Kupfer-Verbindung in einer gestapelten Konfiguration elektrisch verbunden.

Dadurch erreicht der neue Sensor die branchenweit kleinste (4,86 μm) Pixelgröße. Es bietet auch eine HD-Auflösung vom Typ 1/2, 1280 × 720, indem eine hochdichte Integration mit einem feinen 40-nm-Logikprozess erreicht wird.

Ein weiteres Merkmal des neuen ereignisgesteuerten Sensors ist seine Fähigkeit, die laut Prophesee höchste HDR-Leistung der Branche zu bieten:124 dB (oder mehr). Dies erreichte das Team, indem es nur von hinten beleuchtete Pixel und einen Teil des N-Typ-MOS-Transistors auf dem Pixelchip platzierte (oben). Dadurch wird das Öffnungsverhältnis laut Prophesee um bis zu 77 % verbessert. Technologien mit hoher Empfindlichkeit und geringem Rauschen, die Sony im Laufe der Jahre für CMOS-Bildsensoren entwickelt hat, ermöglichen die Ereigniserkennung bei schlechten Lichtverhältnissen (40 mlx).

Arbeitsteilung?

Der CEO von Prophesee, Verre, stellte fest, dass die Rolle von Sony in der Partnerschaft nicht auf eine Gießerei beschränkt ist. Mit solidem Wissen und einem eigenen IP-Portfolio in der ereignisbasierten Technologie sagte Verre:„Wir kamen mit einer klaren Idee an den Tisch, wie wir Pixel gestalten wollten.“ Die Zusammenarbeit der beiden Unternehmen ermöglichte das neue ereignisgesteuerte Sensordesign – aus Analog, Logik und Leistung – in Kombination mit dem fortschrittlichen Herstellungsprozess von Sony.

Die Beziehung ist auch keine reine F&E-Übung, bemerkte Verre. Die Absicht besteht darin, eine langfristige Partnerschaft aufrechtzuerhalten, die die Technologie auf den kommerziellen Markt bringt und gleichzeitig Anwendungen entwickelt.

Was bedeutet das für Sony?

Die Welt hat viele Akteure bei CMOS-Bildsensoren. Cambou stellte fest, dass Sony sich die Vorhersage zu Herzen nahm, dass es bei CMOS-Bildsensoren „nicht mehr nur um die Bildgebung, sondern wirklich um die Wahrnehmung“ geht – ein Evangelium, das Cambou seit langem predigt.

Erinnern Sie sich an die Übernahme des belgischen SoftKinetic durch Sony im Jahr 2015, einem Entwickler von 3D-Sensor-Computer-Vision-Technologien? Cambou sagte, dass die Übernahme es Sony ermöglicht habe, sich einen Anteil am wachsenden Markt für Time-of-Flight-Sensoren (ToF) zu verschaffen, die Android-Smartphone-Anbieter im letzten Jahr plötzlich verlangten. Stellen Sie sich vor, was mit Sony passiert wäre, wenn sich das Unternehmen damals nicht in der Tiefensensortechnologie versucht hätte, sagte Cambou.

Seiner Meinung nach ist die Partnerschaft mit Prophesee nicht anders. Wenn Akteure auf dem Automobil- und industriellen Bildverarbeitungsmarkt nach umfangreicheren Sensordaten suchen, um ihren Betrieb zu verbessern, fügen sie eher eine neue Sensortechnologie hinzu, anstatt eine weitere identische Kamera einzusetzen.

Kurz gesagt, Prophesee könnte das Unternehmen sein, das Sony den Eintritt in den ereignisgesteuerten Bildsensormarkt ermöglicht, so wie SoftKinetic es Sony ermöglicht hat, „DepthSense“-Lösungen zu entwickeln und sie in Smartphones zu entwickeln.

Jetzt verbaut Sony mit der DepthSense-Technologie ToF-Bildsensoren in vielen Android-Smartphones. Dies trägt zu den zahlreichen Designgewinnen bei CMOS-Bildsensoren bei, die Sony bereits in den nach vorne und nach hinten gerichteten Kameras der Smartphones angehäuft hat.