KI-gestützter Sensor erkennt Spektralsignaturen in Pflanzen mit beispielloser Geschwindigkeit

Lawrence Berkeley National Laboratory, Berkeley, CA

Wissenschaftler des Berkeley Lab haben einen intelligenten Sensor entwickelt, der zunächst die spektralen Merkmale von Interesse in Beispielobjekten – hier eine Pflanzenart (oben) oder ein Blatt (unten) – „erschnüffelt“. Anschließend sucht er die spezifizierten Ziele in einer neuen, bisher unbekannten Umgebung, ohne aufwendige digitale Nachbearbeitung. (Bild: Ali Javey/Berkeley Lab)

Durchbruch in der Spektralbildgebung

Spektrale Bildgebungsinstrumente – Kameras, die Farben jenseits des für das menschliche Auge sichtbaren RGB-Spektrums erfassen – sind unverzichtbar, um Informationen über die materiellen und strukturellen Eigenschaften von Objekten zu gewinnen. Ihre Kombination mit maschinellem Lernen hat eine leistungsstarke Pipeline für die Merkmalsidentifikation in realen Anwendungen geschaffen, darunter Halbleiterfertigung, Schadstoffverfolgung und Pflanzenüberwachung.

Indem sie KI-Algorithmen direkt in den Kamerasensor integriert haben, beseitigten Forscher des Lawrence Berkeley National Laboratory (Berkeley Lab) des US-Energieministeriums einen Flaschenhals bei der Datenverarbeitung, der die Leistung der Spektralbildgebungstechnologie lange Zeit beeinträchtigte. Das Ergebnis ist ein intelligenter Sensor, der Chemikalien identifizieren und Materialien schnell und effizient charakterisieren kann.

Zwei Größenordnungen Verbesserung

„Wir konzentrierten uns darauf, die Geschwindigkeit, Auflösung und Energieeffizienz bestehender spektraler Machine-Vision-Technologien um mehr als zwei Größenordnungen zu verbessern“, sagte Ali Javey, der leitende Wissenschaftler der im Fachjournal Science veröffentlichten Studie. Javey ist Senior Faculty Scientist am Berkeley Lab und Professor für Materialwissenschaft und Werkstofftechnik an der UC Berkeley. Die Arbeit entstand in enger Zusammenarbeit mit Aydogan Ozcan an der UCLA.

Das Sensordesign veranschaulicht, wie neuartige Funktionalität direkt in Halbleiterbauelemente eingebaut werden kann, um deren Effizienz und Nutzen zu steigern und eine neue Klasse von KI-Vision-Hardware zu ermöglichen.

Das Problem herkömmlicher Systeme

Heutige Spektralbildgebungstechnologien verfügen über separate Sensor- und Rechenmodule. Der Sensor nimmt zunächst einen Stapel von Bildern auf, wobei jedes Bild einer bestimmten Farbe entspricht. Dieser dichte Bildstapel wird dann an einen digitalen Prozessor zur weiteren Berechnung gesendet, der die Objekterkennungsergebnisse liefert. Genau hier entstehen die Probleme.

„Die Sensoren müssen weit mehr Daten an den digitalen Prozessor senden als normale Kameras – etwa das Zehn- bis Hundertfache an Datenvolumen“, erklärte Dehui Zhang, Postdoktorand in der Materials Sciences Division des Berkeley Lab und Erstautor der Studie. Dadurch werden Sensor- und Computerhardware oft überfordert, was Objekterkennungsaufgaben extrem langsam und energiehungrig macht.

Integrierte KI-Berechnung während der Bildaufnahme

Stattdessen entwickelte das Berkeley-Lab-Team Sensoren, die KI-Berechnung und Spektralanalyse bereits während der Bildaufnahme – also dem Photodetektionprozess – durchführen.

„Photodetektion kann als automatischer physikalischer Berechnungsprozess betrachtet werden“, erläuterte Zhang. Wenn Licht auf den Sensor trifft, wird seine Intensität automatisch auf die Stärke eines elektrischen Stroms abgebildet. Da die Empfindlichkeit des Sensors für Licht leicht justiert werden kann, verfügen die Forscher über einen Einstellknopf, um festzulegen, welche Spektralsignaturen hervorgehoben und welche unterdrückt werden. Der den Sensor verlassende Strom, der von einer Schaltung ausgelesen wird, dient somit als Schlussfolgerung über den Spektralinhalt des Bildes.

„Wir haben bewiesen, dass der Berechnungsprozess mathematisch einem Algorithmus ähnelt, der typischerweise für digitales maschinelles Lernen verwendet wird“, sagte Zhang. Diese Analogie machte es möglich, den Sensor als maschinelles Lerncomputer zu nutzen und die Berechnungen direkt auf dem einfallenden Licht durchzuführen.

Intelligenz direkt im Sensor

„Für mich ist der spannendste Aspekt das Konzept, Sensoren Intelligenz zu verleihen“, sagte Javey. Normale Sensoren sammeln lediglich rohe Umgebungsinformationen, während die intelligente Erkennung digitalen Prozessoren überlassen bleibt.

Durch das Co-Design von Halbleitermaterialien, Bauelementen und Algorithmen ermöglichten die Forscher den Sensoren, zu lernen und zu berechnen, ohne dass eine digitale Nachbearbeitung der Daten erforderlich ist.

Vielfältige Anwendungen jenseits der Pflanzenbeobachtung

Die Anwendungsmöglichkeiten der Technologie gehen weit über die Identifizierung von Vögeln hinaus. Mithilfe von Photodioden aus schwarzem Phosphor demonstrierten die Forscher experimentell mehrere weitere faszinierende Möglichkeiten. Sie identifizierten erfolgreich Oxidschichtdicken in Halbleiterproben – die für Fertigungsriesen perfekt gleichmäßig sein müssen – sowie Hydratationszustände in verschiedenen Pflanzenblättern, Objeksegmentierung in optischen Bildern und transparente Chemikalien in einer Petrischale.

„Ich bin optimistisch, was die Zukunft solcher Geräte für breitere Anwendungen angeht“, sagte Javey. In Zukunft könnten die intelligenten Sensoren nicht nur in der spektralen Machine Vision, sondern auch in „anderen fortschrittlichen optischen Sensoranwendungen und darüber hinaus“ zum Einsatz kommen.

Für weitere Informationen kontaktieren Sie: Diese E-Mail-Adresse ist vor Spambots geschützt! Zur Anzeige muss JavaScript eingeschaltet sein.