KI-gestützter Sensor erkennt spektrale Signaturen in Pflanzen und Blättern mit unübertroffener Geschwindigkeit

Lawrence Berkeley National Laboratory, Berkeley, Kalifornien

Wissenschaftler des Berkeley Lab haben einen intelligenten Sensor entwickelt, der zunächst interessierende Spektralmerkmale an Beispielobjekten „erschnüffelt“ – hier eine Art Ernte (oben) oder Blatt (unten). Anschließend sucht es nach den angegebenen Zielen in einer neuen Umgebung – einer Umgebung, die es zuvor noch nicht gesehen hat – und vermeidet gleichzeitig umständliche digitale Verarbeitung. (Bild:Ali Javey/Berkeley Lab)

Spektralbildgebungswerkzeuge – Kameras, die Farben erfassen, die über das für unsere Augen sichtbare RGB-Spektrum hinausgehen – sind für die Gewinnung von Informationen über die Material- und Struktureigenschaften eines Objekts von entscheidender Bedeutung. Durch die Verbindung mit maschinellem Lernen ist eine leistungsstarke Pipeline zur Identifizierung von Merkmalen in realen Anwendungen entstanden, darunter Halbleiterfertigung, Schadstoffverfolgung und Pflanzenüberwachung.

Durch die Integration von KI-Algorithmen in den Sensor der Kamera selbst haben Forscher am Lawrence Berkeley National Laboratory (Berkeley Lab) des Energieministeriums nun einen Datenverarbeitungsengpass beseitigt, der die Leistung der Spektralbildgebungstechnologie seit langem beeinträchtigt. Das Ergebnis ist ein intelligenter Sensor, der Chemikalien schnell und effizient identifizieren und Materialien charakterisieren kann.

„Wir haben uns darauf konzentriert, die Geschwindigkeit, Auflösung und Energieeffizienz bestehender spektraler Bildverarbeitungstechnologien um mehr als zwei Größenordnungen zu verbessern“, sagte Ali Javey, der Wissenschaftler, der die Science-Studie über das Gerät leitete. Javey ist leitender Fakultätswissenschaftler am Berkeley Lab und Professor für Materialwissenschaften und Ingenieurwesen an der UC Berkeley. Die Arbeit wurde in enger Zusammenarbeit mit Aydogan Ozcan an der UCLA durchgeführt.

Das Sensordesign veranschaulicht, wie neuartige Funktionen in Halbleitergeräte selbst integriert werden können, um deren Effizienz und Nutzen zu verbessern und eine neue Klasse von KI-Vision-Hardware zu ermöglichen.

Heutige spektrale Bildgebungstechnologien verfügen über separate Sensor- und Rechenmodule. Der Sensor erfasst zunächst einen Stapel von Bildern, die jeweils einer bestimmten Farbe entsprechen. Anschließend wird der dichte Bildstapel zur weiteren Berechnung an einen digitalen Prozessor gesendet, der die Ergebnisse der Objektidentifizierung liefert. Hier entstehen die Probleme.

„Die Sensoren müssen viel mehr Daten sammeln und an den digitalen Prozessor senden als normale Kameras, etwa zehn- bis hundertmal größer im Volumen“, sagte Dehui Zhang, Postdoktorand in der Abteilung für Materialwissenschaften des Berkeley Lab und Hauptautor der Studie. Folglich sind die Sensor- und Computerhardware oft überlastet, was Objekterkennungsaufgaben extrem langsam und leistungsintensiv macht.

Stattdessen entwickelte das Berkeley Lab-Team Sensoren, die während des Bildaufnahme- oder Fotoerkennungsprozesses selbst KI-Berechnungen und Spektralanalysen durchführen.

„Photodetektion kann als automatischer physikalischer Rechenprozess wahrgenommen werden“, erklärte Zhang. Wenn Licht auf den Sensor trifft, wird seine Intensität automatisch der Stärke eines elektrischen Stroms zugeordnet. Da die Reaktionsfähigkeit des Sensors auf Licht leicht angepasst werden kann, verfügen die Forscher über einen Einstellknopf, mit dem sie auswählen können, welche Spektralsignaturen hervorgehoben und welche unterdrückt werden. Der Strom, der den Sensor verlässt, um von einem Schaltkreis gelesen zu werden, dient daher als Rückschluss auf den Spektralinhalt des Bildes.

„Wir haben bewiesen, dass der Rechenprozess mathematisch einem Algorithmus ähnelt, der typischerweise für digitales maschinelles Lernen verwendet wird“, sagte Zhang. Diese Analogie ermöglichte es, den Sensor als Computer für maschinelles Lernen zu verwenden und die Berechnungen für maschinelles Lernen am einfallenden Licht selbst durchzuführen.

„Für mich ist der spannendste Teil das Konzept, Sensoren Intelligenz zu verleihen“, sagte Javey. Normale Sensoren sammeln lediglich rohe Umgebungsinformationen und überlassen die intelligenten Erkennungsaufgaben digitalen Prozessoren.

Durch die Mitgestaltung der Halbleitermaterialien, Geräte und Algorithmen ermöglichte das Team, dass die Sensoren lernen und rechnen können, ohne dass eine digitale Nachbearbeitung der Daten erforderlich ist.

Die Einsatzmöglichkeiten dieser Technologie gehen jedoch weit über die Identifizierung von Vögeln hinaus. Mithilfe von Fotodioden aus schwarzem Phosphor demonstrierten die Forscher experimentell mehrere andere faszinierende Möglichkeiten. Sie identifizierten erfolgreich die Dicke der Oxidschicht in Halbleiterproben – die Produktionsgiganten benötigen, um vollkommen einheitlich zu sein – sowie den Hydratationszustand in verschiedenen Pflanzenblättern, die Objektsegmentierung in optischen Bildern und transparente Chemikalien in einer Petrischale.

„Ich bin optimistisch, was die Zukunft solcher Geräte für breitere Anwendungen angeht“, sagte Javey. In Zukunft könnten die intelligenten Sensoren nicht nur in der spektralen maschinellen Bildverarbeitung, sondern auch in „anderen fortschrittlichen optischen Sensoren und darüber hinaus“ Verwendung finden.

Für weitere Informationen wenden Sie sich bitte an Diese E-Mail-Adresse ist vor Spambots geschützt. Sie müssen JavaScript aktivieren, damit Sie es sehen können.