Tintenstrahl-gedruckte portable multispektrale 3D-Lichtfeldkamera eröffnet erweiterte Imaging-Anwendungen

Optica, Washington D.C.

Forscher nutzten Tintenstrahldruck, um eine multispektrale Version einer Lichtfeldkamera zu erstellen, die in die Handfläche passt. Die 3D-Kamera könnte für Anwendungen wie autonomes Fahren, Klassifizierung von Recyclingmaterialien und Fernerkundung nützlich sein. (Bild: Maximilian Schambach, Karlsruher Institut für Technologie)

3D-Spektralinformation in einem Schnappschuss

Forscher haben Tintenstrahldruck verwendet, um eine kompakte multispektrale Version einer Lichtfeldkamera zu erstellen. Die Kamera, die in die Handfläche passt, könnte für viele Anwendungen nützlich sein, einschließlich autonomem Fahren, Klassifizierung von Recyclingmaterialien und Fernerkundung.

3D-Spektralinformation kann nützlich sein für die Klassifizierung von Objekten und Materialien; jedoch erfordert das Erfassen von 3D-räumlicher und spektraler Information aus einer Szene typischerweise mehrere Geräte oder zeitaufwändige Scannprozesse. Diese neue Lichtfeldkamera löst die Herausforderung, indem sie 3D-Information und Spektraldaten gleichzeitig in einem einzigen Schnappschuss erfasst.

„Meines Wissens ist dies die fortschrittlichste und integrierteste Version einer multispektralen Lichtfeldkamera“, sagte Forschungsteamleiter Uli Lemmer vom Karlsruher Institut für Technologie in Deutschland. „Wir kombinierten es mit neuen KI-Methoden zur Rekonstruktion der Tiefe und spektralen Eigenschaften der Szene, um ein fortschrittliches Sensorsystem für die Erfassung von 3D-Informationen zu schaffen.“

Im Journal Optics Express berichten die Forscher, dass die neue Kamera und Bildrekonstruktionsmethoden verwendet werden können, um Objekte in einer Szene basierend auf ihren spektralen Charakteristika zu unterscheiden. Die Verwendung von Tintenstrahldruck für die Herstellung der optischen Schlüsselkomponenten der Kamera ermöglicht einfache Anpassung oder Fertigung in großen Stückzahlen.

„Rekonstruierte 3D-Daten aus Kamerabildern finden breite Anwendung in Virtual und Augmented Reality, autonomen Autos, Robotik, Smart-Home-Geräten, Fernerkundung und anderen Anwendungen“, sagte Michael Heizmann, Mitglied des Forschungsteams. „Diese neue Technologie könnte beispielsweise Robotern ermöglichen, besser mit Menschen zu interagieren, oder die Genauigkeit der Klassifizierung und Trennung von Materialien im Recycling verbessern. Sie könnte potenziell auch zur Klassifizierung von gesundem und krankem Gewebe eingesetzt werden.“

Funktionsweise: Mikrolinsen & Farbfilter per Tintenstrahldruck

Lichtfeldkameras, auch Plenoptische Kameras genannt, sind spezialisierte Imaging-Geräte, die Richtung und Intensität von Lichtstrahlen erfassen. Nach der Bildaufnahme wird computergestützte Verarbeitung genutzt, um 3D-Bildinformationen aus den erworbenen Daten zu rekonstruieren. Diese Kameras nutzen typischerweise Mikrolinsen-Arrays, die mit den Pixeln eines hochauflösenden Kamerachips ausgerichtet sind.

Um eine multispektrale Lichtfeldkamera zu erstellen, nutzten die Forscher Tintenstrahldruck, um einen einzelnen Tropfen Material abzuscheiden, um jede einzelne Linse auf einer Seite ultradünner Mikroskopträger zu formen, und druckten dann voll ausgerichtete Farbfilter-Arrays auf der gegenüberliegenden Seite der Mikroskopträger. Das resultierende optische Bauteil wurde direkt auf einen CMOS-Kamerachip integriert. Die Tintenstrahldruckmethode ermöglichte präzise Ausrichtung zwischen den optischen Komponenten, was die Fertigungskomplexität erheblich reduzierte und die Effizienz steigerte.

Da dieses Setup spektrale und Tiefeninformationen erzeugt, die im Kamerabild verwoben sind, entwickelten die Forscher Methoden, um jede Komponente zu trennen. Sie fanden, dass ein auf Deep Learning basierender Ansatz am besten funktionierte, um die gewünschten Informationen direkt aus den erworbenen Messungen zu extrahieren.

„Die Herausforderung, eine multispektrale Lichtfeldkamera zu schaffen, war nur durch die Kombination jüngster Fortschritte aus Fertigung, Systemdesign und KI-basierter Bildrekonstruktion lösbar“, sagte Qiaoshuang Zhang, Erstautorin der Arbeit. „Diese Arbeit verschiebt die Grenzen des Tintenstrahldrucks – eine vielseitige Methode mit hoher Präzision und industrieller Skalierbarkeit – für die Fertigung photonischer Komponenten.“

Test & Ausblick

Die Forscher testeten die Kamera, indem sie eine Testszene aufnahmen, die mehrfarbige 3D-Objekte in verschiedenen Entfernungen enthielt. Der Bildrekonstruktionsalgorithmus wurde an vielen synthetischen und echten multispektralen Bildern trainiert und getestet. Die Ergebnisse demonstrieren, dass die Prototyp-Kamera 3D-räumliche und spektrale Informationen simultan erfassen kann und dass verschiedene Objekte anhand ihrer unterschiedlichen spektralen Zusammensetzung und Tiefeninformationen innerhalb eines einzigen Schnappschusses abgebildet und unterschieden werden können.

Da sie diesen ersten Proof-of-Concept abgeschlossen haben, erforschen die Forscher nun verschiedene Anwendungen, wo eine Lichtfeldkamera mit der Fähigkeit, multispektrale Informationen zu erfassen, nützlich sein könnte.

Für weitere Informationen kontaktieren Sie info@optica.org.