Tragbare multispektrale 3D-Lichtfeldkamera mit Tintenstrahldrucker erschließt erweiterte Bildgebungsanwendungen

Optica, Washington D.C.

Forscher nutzten den Tintenstrahldruck, um eine multispektrale Version einer Lichtfeldkamera zu erstellen, die in die Handfläche passt. Die 3D-Kamera könnte für Anwendungen wie autonomes Fahren, Klassifizierung von Recyclingmaterialien und Fernerkundung nützlich sein. (Bild:Maximilian Schambach, Karlsruher Institut für Technologie)

Forscher haben mithilfe des Tintenstrahldrucks eine kompakte multispektrale Version einer Lichtfeldkamera erstellt. Die Kamera, die in die Handfläche passt, könnte für viele Anwendungen nützlich sein, darunter autonomes Fahren, Klassifizierung von recycelten Materialien und Fernerkundung.

3D-Spektralinformationen können zur Klassifizierung von Objekten und Materialien nützlich sein; Die Erfassung räumlicher und spektraler 3D-Informationen einer Szene erfordert jedoch in der Regel mehrere Geräte oder zeitintensive Scanvorgänge. Diese neue Lichtfeldkamera löst die Herausforderung, indem sie gleichzeitig 3D-Informationen und Spektraldaten in einem einzigen Schnappschuss erfasst.

„Nach unserem Kenntnisstand ist dies die fortschrittlichste und integrierteste Version einer multispektralen Lichtfeldkamera“, sagte Forschungsteamleiter Uli Lemmer vom Karlsruher Institut für Technologie in Deutschland. „Wir haben es mit neuen KI-Methoden zur Rekonstruktion der Tiefe und spektralen Eigenschaften der Szene kombiniert, um ein fortschrittliches Sensorsystem zur Erfassung von 3D-Informationen zu schaffen.“

In der Zeitschrift Optics Express Die Forscher berichten, dass sich mit den neuen Kamera- und Bildrekonstruktionsmethoden Objekte in einer Szene anhand ihrer spektralen Eigenschaften unterscheiden lassen. Die Verwendung des Tintenstrahldrucks zur Herstellung der wichtigsten optischen Komponenten der Kamera ermöglicht eine einfache individuelle Anpassung oder Herstellung in großen Mengen.

„Rekonstruierte 3D-Daten aus Kamerabildern finden breite Anwendung in der virtuellen und erweiterten Realität, autonomen Autos, Robotik, Smart-Home-Geräten, Fernerkundung und anderen Anwendungen“, sagte Michael Heizmann, Mitglied des Forschungsteams. „Diese neue Technologie könnte es beispielsweise Robotern ermöglichen, besser mit Menschen zu interagieren oder die Genauigkeit der Klassifizierung und Trennung von Materialien beim Recycling zu verbessern. Sie könnte möglicherweise auch zur Klassifizierung von gesundem und krankem Gewebe eingesetzt werden.“

Lichtfeldkameras, auch plenoptische Kameras genannt, sind spezialisierte Bildgebungsgeräte, die die Richtung und Intensität von Lichtstrahlen erfassen. Nach der Bildaufnahme wird eine rechnerische Verarbeitung eingesetzt, um aus den erfassten Daten 3D-Bildinformationen zu rekonstruieren. Diese Kameras verwenden typischerweise Mikrolinsenarrays, die auf die Pixel eines hochauflösenden Kamerachips ausgerichtet sind.

Um eine multispektrale Lichtfeldkamera zu entwickeln, verwendeten die Forscher den Tintenstrahldruck, um einen einzelnen Materialtröpfchen zur Bildung jeder einzelnen Linse auf einer Seite ultradünner Objektträger aufzubringen und dann vollständig ausgerichtete Farbfilteranordnungen auf die gegenüberliegende Seite der Objektträger zu drucken. Die resultierende optische Komponente wurde direkt auf einen CMOS-Kamerachip integriert. Das Tintenstrahldruckverfahren ermöglichte eine präzise Ausrichtung zwischen den optischen Komponenten, wodurch die Herstellungskomplexität erheblich reduziert und die Effizienz gesteigert wurde.

Da dieser Aufbau Spektral- und Tiefeninformationen erzeugt, die im Kamerabild verwoben sind, entwickelten die Forscher Methoden, um die einzelnen Komponenten zu trennen. Sie fanden heraus, dass ein auf Deep Learning basierender Ansatz am besten funktionierte, um die gewünschten Informationen direkt aus den erfassten Messungen zu extrahieren.

„Die Bewältigung der Herausforderung, eine multispektrale Lichtfeldkamera zu entwickeln, war nur durch die Kombination aktueller Fortschritte in den Bereichen Fertigung, Systemdesign und KI-basierter Bildrekonstruktion möglich“, sagte Qiaoshuang Zhang, Erstautor des Papiers. „Diese Arbeit verschiebt die Grenzen des Tintenstrahldrucks – einer vielseitigen Methode mit hoher Präzision und industrieller Skalierbarkeit – zur Herstellung photonischer Komponenten.“

Die Forscher testeten die Kamera, indem sie eine Testszene aufzeichneten, die mehrfarbige 3D-Objekte in unterschiedlichen Entfernungen enthielt. Der Bildrekonstruktionsalgorithmus wurde an vielen synthetischen und realen multispektralen Bildern trainiert und getestet. Die Ergebnisse zeigen, dass die Prototypkamera gleichzeitig räumliche und spektrale 3D-Informationen erfassen kann und dass verschiedene Objekte in einem einzigen Schnappschuss abgebildet und anhand ihrer unterschiedlichen spektralen Zusammensetzung und Tiefeninformationen unterschieden werden können.

Nachdem sie nun diesen ersten Proof-of-Concept abgeschlossen haben, untersuchen die Forscher verschiedene Anwendungen, bei denen eine Lichtfeldkamera mit der Fähigkeit zur Erfassung multispektraler Informationen nützlich sein könnte.

Für weitere Informationen wenden Sie sich bitte an Diese E-Mail-Adresse ist vor Spambots geschützt. Sie müssen JavaScript aktivieren, damit Sie es sehen können.