Visualisierung von Werten mit Lichtgeschwindigkeit

Die globale Lebensmittelinspektionsbranche benötigt neuere und präzisere Werkzeuge, um die strengen gesetzlichen Vorschriften zu erfüllen. Von Sonderkulturen bis hin zu Meeresfrüchten, Fleisch und Geflügel wird allein der Markt für Lebensmittelsicherheitstests im Jahr 2021 auf unglaubliche 19,5 Milliarden US-Dollar geschätzt und soll bis 2026 voraussichtlich 28,6 Milliarden US-Dollar erreichen ¹ . Dies ist ein Beispiel, bei dem Hyperspectral Imaging (HSI) ein Werkzeug darstellt, das mühsame und arbeitsintensive Aufgaben erleichtern und einigen historisch subjektiven Bewertungsanwendungen ein neues Maß an Konsistenz verleihen kann.

HSI wurde ursprünglich für Fernerkundungsanwendungen mit Bildern von Flugzeugen und Satelliten entwickelt und ist seitdem zu einer kommerziell tragfähigen Technik für fortschrittliche Bildverarbeitungsanwendungen geworden. HSI-Sensoren verhalten sich wie Tausende oder Millionen von Spektrometern, die die chemischen Signaturen aus dem reflektierten Licht an jedem Pixel eines Bildes liefern. Die Sensoren von Headwall können auf Wellenlängenbereiche abgestimmt werden, die das menschliche Auge nicht erkennen kann, von ultravioletten und sichtbaren (UV und VIS) bis hin zu nahen Infrarot-Wellenlängenbereichen (VNIR, NIR und SWIR).

Hyperspektralbildgebende Sensoren können spektrale Merkmale unterscheiden, die sich dem menschlichen Auge und herkömmlicher Farbbildgebung entziehen. Diese Merkmale können potenziell schädliche Fremdstoffe erkennen und ein Mittel zum Sortieren und Einstufen von Materialien wie Lebensmittelprodukten bereitstellen, deren Wert oft an Merkmale gebunden ist, die von einem HSI-System oft besser und konsistenter gemessen werden als ein Mensch, der Ermüdung oder dem ausgesetzt ist Auswirkungen von etwas so Einfachem wie unterschiedlichen Mengen Kaffee jeden Tag 2.

Systeme, die HSI verwenden, standen im industriellen Einsatz vor erheblichen Hürden, da vergleichsweise große Mengen an Rohdaten verarbeitet und die relative Komplexität der Entwicklung von Spektralklassifizierungsmodellen angegangen werden müssen. Neuere HSI-Plattformen wie das Hyperspec® MV.X-Bildgebungssystem von Headwall kombinieren jedoch ein Hochleistungs-Bildgebungsspektrometer mit leistungsstarkem Embedded Computing und Software, um schnell Spektralklassifizierungsmodelle zu erstellen, um umsetzbare Ergebnisse in Echtzeit zu extrahieren und Anweisungen über das lokale Netzwerk zu senden Maßnahmen ergreifen oder Überwachungs- und Kontrolldaten sammeln.

Eine andere Sicht auf die Dinge

Das menschliche Auge, so leistungsfähig es auch ist, kann nur Bilder erkennen, die in das sichtbare Lichtspektrum zwischen 400 nm und 700 nm fallen. Es gibt nur drei Farben innerhalb dieses Bereichs, die in breite RGB-Bereiche (Rot, Grün oder Blau) fallen, und die Farbempfindlichkeit und -wahrnehmung jeder Person ist sehr unterschiedlich. Dennoch ist die Lebensmittelinspektion seit Jahrhunderten auf Menschen und RGB-Sensoren angewiesen, um Probleme zu erkennen und Produkte einzustufen. Dazu gehören Fremdkörper, die früher im Ernteprozess übersehen wurden, und sogar schwer zu erkennende Krankheitszustände, die für beide dieser traditionellen Methoden möglicherweise weitgehend unsichtbar sind. Es steht viel auf dem Spiel:Verbraucherpräferenzen, die Fähigkeit, neue gesetzliche Vorschriften zu erfüllen, und der Unternehmenswert für Aktionäre können alle von der Präzision und Effektivität abhängen, wie Inspektionen in allen Facetten der Lebensmittelindustrie implementiert werden.

„Spectral Imaging“-Sensoren lassen sich in zwei Kategorien unterteilen. Multispektralsensoren umfassen eine Handvoll Spektralbänder, zwischen vier und Dutzenden, wohingegen Hyperspektralsensoren ein viel körnigeres (d. h. hohe spektrale Auflösung) Aussehen bieten, da sie buchstäblich Hunderte von Spektralbändern gleichzeitig erfassen können. Beide bieten ein viel vollständigeres Bild der untersuchten Lebensmittel, da sie weit über das einfache RGB-Paradigma hinausgehen, das so häufig und traditionell verwendet wird.

Menschen sehen Farben als Kombinationen aus Rot (1), Grün (2) und Blau (3) in einem sehr kleinen Bereich des elektromagnetischen Spektrums. Die Hinzufügung der Bänder 4 und 5 stellt ein multispektrales Beispiel dar, bei dem mehr als 3 Bereiche des Spektrums erfasst und analysiert werden. Die hyperspektrale Bildgebung nutzt Hunderte von Bändern des Spektrums statt nur ein paar. Dies ermöglicht die hohe Leistung eines Punktmessspektrometers, jedoch an jedem Pixel eines Bildes, das aus Millionen von Pixeln bestehen könnte.

Ein „fortgeschrittenes“ maschinelles Bildverarbeitungssystem im Sinne dieser Diskussion kann aus einem oder mehreren spektralen Bildsensoren, einer geeigneten Beleuchtungsquelle und einem Computer bestehen, der die Bilddaten sammelt, während er mit nachgeschalteter Robotik kommuniziert. Der Sensor präsentiert dem Computer Bilddaten in Echtzeit, und diese Bilddaten werden dann an das Robotersystem weitergeleitet. Das Robotiksystem interpretiert das Bild und versteht anhand von Algorithmen und Anweisungen sofort, was zu tun ist. In einigen Fällen kann es einfach ein Stück Fremdmaterial greifen und löschen (bestanden/nicht bestanden). In anderen Fällen würde es bestimmte Färbungen eines Produkts zur weiteren Verarbeitung an eine andere Linie leiten (Produktklassifizierung). Für Recyclinganwendungen kann es verschiedene, aber ähnlich aussehende Kunststoffarten entlang von Hochgeschwindigkeitslinien klassifizieren.

Der Hyperspektralsensor ist kein eigenständiges Gerät, sondern ein wichtiger und sehr genauer Teil eines gesamten fortschrittlichen Bildverarbeitungssystems. Nach einer Schätzung ³ , maschinelles Sehen wurde in weniger als 20 % der Anwendungen eingesetzt, für die es potenziell nützlich ist. Daher ist es sinnvoll zu diskutieren, wie diese leistungsstarke Bildgebungstechnologie Inspektionsprozesse besser und wirtschaftlich effizienter machen kann.

Der HSI-Sensor kann als „neues Augenpaar“ betrachtet werden, das als Wächter über Inspektionslinien wacht, egal wie lange der typische Produktionszyklus dauert. Seine Fähigkeit, mit anderen Elementen des Systems zu „sprechen“, ist ein entscheidender Grund dafür, dass Hyperspektralsensorik als neues Werkzeug für die Industrie bevorzugt wird, das RGB-Einheiten bei weitem übertreffen kann.

Ein „Pushbroom“-Hyperspektralsensor erfasst Bilder, indem er Zeile für Zeile durch einen Schlitz (links) scannt, wobei jede Zeile Pixel enthält, die die spektralen Eigenschaften des Objekts speichern (Mitte). Wenn sich der Sensor relativ zum gescannten Bereich oder Objekt bewegt, wird ein Datensatz aufgebaut (rechts). Der resultierende Datensatz kann als Stapel betrachtet werden, bei dem jede Schicht ein bestimmtes „Band“ (einen kleinen Wellenlängenbereich) darstellt. Pixel werden zu einem Bild zusammengefügt, bei dem jedes Pixel nicht nur herkömmliche RGB-Werte enthält, sondern Hunderte von Werten entlang des Wellenlängenbereichs des Sensors.

Die grundlegende Funktion eines hyperspektralen Sensors besteht darin, im Falle eines „Pushbroom“-Designs einzelne Schnitte einer eingehenden Szene durch einen physischen Schlitz zu erfassen und jeden Schnitt in diskrete Wellenlängenkomponenten zu zerlegen, die dann einem Focal-Plane-Array (FPA) präsentiert werden. . Ein Beugungsgitter übernimmt die Aufgabe, die Bildscheiben in diskrete Wellenlängenkomponenten zu zerlegen. Das Gitter ist mit einem präzisen Rillenprofil konstruiert, um die räumliche Kohärenz in einer Dimension (der Länge des Bildschlitzes) aufrechtzuerhalten und die räumliche Information (die Breite des Schlitzes in Mikrometern) zu beugen. Dieser Beugungsprozess (Dispersion) ermöglicht es dem spektralen Inhalt, bekannte Wellenlängenkanäle auf dem Sensor zu durchqueren.

Die von Headwall verwendete vollständig reflektierende Push-Broom-Spektrallinienabtasttechnologie erfasst eine Spektrallinie (X-Raum und Z-Spektral) in jedem „Frame“. Aufeinanderfolgende Frames bilden die räumliche Y-Dimension. Das Pushbroom-Design wird wegen seiner Fähigkeit bevorzugt, eine geringe Verzerrung bei sehr hoher räumlicher und spektraler Auflösung bereitzustellen. Hoher Durchsatz bedeutet ein hohes Signal-Rausch-Verhältnis und sehr geringes Streulicht. Da es sich um ein vollständig reflektierendes Design handelt, werden Probleme mit der chromatischen Dispersion eliminiert.

Beim Blick durch den Spalt des Hyperspektralsensors sehen wir nur den räumlichen Streifen, den der Spalt durchlässt. Dies würde einer Pixelspalte entsprechen. Sie können immer noch die räumlichen Details im Bild sehen, aber jeweils nur einen Streifen. In jedem Schlitz gibt es viele Farben. Das HSI-System trennt das Licht in jedem räumlichen Pixel in die verschiedenen Farben in diesem Pixel. Jedes Mal, wenn die Kamera ein Bild des Schlitzes aufnimmt, erhält sie für jedes Pixel ein Vollbild der Spektraldaten. Wir stapeln jedes Spektralbild des Schlitzes, während wir die Szene durchqueren, und bauen den hyperspektralen Datenwürfel auf. Während sich der Sensor von links nach rechts über die Szene bewegt, kann eine fortschrittliche hyperspektrale Verarbeitungssoftware eine Reihe von Bildern aufnehmen und sie zusammenfügen, um einen vollständigen „Datenwürfel“ zu erhalten.

Eine Eigenschaft der spektralen Bildgebung, die sie perfekt für fortschrittliche Bildverarbeitungsanwendungen macht, ist die Bewegung. Da Sensoren Bilddaten Frame für Frame erfassen, sind sie natürlich darauf angewiesen, dass Bewegung auftritt. Der Sensor muss sich entweder über das Sichtfeld bewegen (wie es bei einer Befestigung an einer Drohne oder einem Flugzeug in Fernerkundungsanwendungen der Fall wäre), oder das Sichtfeld muss sich unter dem Sensor bewegen (wie es bei einer fortschrittlichen maschinellen Bildverarbeitung der Fall wäre). ).

Die Gemeinschaft der Präzisionslandwirtschaft hat sowohl hyperspektrale als auch multispektrale Sensoren als Nutzlast für Drohnen und Flugzeuge eingeführt, die über Getreidefelder fliegen. Diese Sensoren erfassen eine Fülle wichtiger landwirtschaftlicher Daten in Bezug auf Indizes wie NDVI, PRI, WBI, Red Edge Ratio und viele mehr. Die Vitalität der Feldfrüchte, die Wirksamkeit von Düngung und Bewässerung sowie frühe Anzeichen invasiver Arten und Krankheiten können alle innerhalb der Hunderte von Bändern eines sichtbaren Nahinfrarotsensors (VNIR) gesehen werden, der zwischen 400 nm und 1000 nm „sieht“.

Hyperspektralsensoren können entlang der Produktionslinie platziert und mit Robotern verbunden werden, die basierend auf Echtzeitanalysen, die in den eingebetteten Prozessoren in den Sensorsystemen selbst durchgeführt werden, geeignete Maßnahmen ergreifen.

Entlang eines Hochgeschwindigkeitsförderers können die gleichen aussagekräftigen Daten gesammelt werden, um den Inspektionsprozess positiv zu beeinflussen. Bildrate und Sichtfeldeigenschaften sind so, dass die Sensoren mehr als in der Lage sind, breite Linien bei hohen Geschwindigkeiten zu überwachen. Das hohe Maß an Diskriminierung, das HSI bietet, bedeutet, dass selbst schwer zu unterscheidende Anomalien erkannt und behandelt werden. Eine Blaubeere in einem Erdbeerfeld ist leicht zu erkennen, aber was ist mit winzigen Farb- oder chemischen Unterschieden innerhalb derselben Ernte oder innerhalb ähnlich aussehender recycelter Materialien? Nur Hyperspektral kann diese unsichtbaren Unterschiede erkennen.

HSI-Sensordesign

Lichtstrahlen, die in den Schlitz eines Hyperspektralsensors von Pushbroom eintreten, werden wie in einem Regenbogen in ein Farbspektrum zerlegt, in diesem Fall durch ein holografisches Gitter aus sehr feinen Rillen. Das Spektrum fällt auf einen 2D-Fotosensor. Die Software wandelt den Signalpegel an jedem lichtempfindlichen Pixel in eine Spektralkurve an jedem Pixel des Bildes um, wenn sich der Sensor relativ zum gescannten Objekt bewegt.

Obwohl HSI-Sensoren manchmal als „Kameras“ bezeichnet werden, sind sie in Wahrheit eine Verbindung von Spektrometern und Kameras. Die Sensoren von Headwall basieren auf einem vollständig reflektierenden Design ohne bewegliche Teile oder potenziell störende durchlässige Optiken. Dies wird durch die Verwendung von holografischen Beugungsgittern erreicht, die das einfallende Licht steuern, das durch den Bildschlitz hindurchgeht. Die Gitter sind nicht nur außergewöhnlich präzise, ​​sondern auch klein und leicht. Dadurch sind die Instrumente selbst klein und leicht und können überall problemlos eingesetzt werden.

Headwall ist der einzige Hersteller von Spektralsensoren, der auch seine eigenen Beugungsgitter herstellt. Jeder Rost ist „Meisterqualität“, was für eine bestimmte Anwendung identische Rillenprofile von einem zum nächsten bedeutet. Da die grundlegende optische Leistung des Sensors eine Funktion des Gitters ist, stellt diese Fähigkeit eine echte Differenzierung dar. Hyperspektralsensoren werden auf bestimmte Spektralbereiche ausgelegt und „abgestimmt“. Innerhalb jedes Bereichs werden buchstäblich Hunderte von Spektralbändern gesammelt, die eine sehr präzise und hochaufgelöste Ansicht von allem geben, was sich entlang der Inspektionslinie bewegt ... sowohl spektral als auch räumlich.

Der sichtbare Nahinfrarotbereich (VNIR) umfasst 400 nm bis 1000 nm und der erweiterte VNIR-Bereich umfasst 550 nm bis 1700 nm. Der Nahinfrarotbereich (NIR) erfasst Bilddaten von 900 nm bis 1700 nm, während der Kurzwellen-Infrarotbereich (SWIR) von 900 nm bis 2500 nm abdeckt. Da das Material an bestimmten Punkten innerhalb dieser Bereiche „Licht reflektiert“, ist es wichtig, zuerst die Signaturen selbst zu definieren. Dann kann der Sensor durch Algorithmen Material charakterisieren oder alles erkennen, was nicht genau als „gut“ definiert ist, nicht nur in Bezug auf Fremdmaterial, sondern auch schwer zu unterscheidende „Sortierungs“-Unterschiede von einer Beere zur anderen oder von einer Nuss zu Ein weiterer. Dies ist eine sehr wertvolle Eigenschaft der hyperspektralen Bildgebung, da sie eine Spezifität aufweist, die weit über traditionellere RGB-Sensoren hinausgeht.

Licht ist wichtig

Da HSI-Sensoren reflektiertes Licht messen und analysieren, ist die Beleuchtung ein wichtiger Aspekt. Das übergeordnete Ziel ist es, das Sichtfeld des Sensors mit einer äußerst gleichmäßigen, konsistenten Ausleuchtung zu versehen, die gleichzeitig robust und wirtschaftlich ist.

Für den VNIR-Spektralbereich stellt Quarz-Wolfram-Halogen (QTH) eine solche Beleuchtungstechnologie dar, während neuere LED-Lichtquellen als eine weitere, wenn auch weniger ausgereifte Alternative angesehen werden können. Gebündelte optische Fasern stellen auch eine gleichmäßige Lichtquelle dar. Vieles von dem, was die Lebensmittelinspektion interessiert, wird in Bereichen jenseits des sichtbaren Bereichs „reflektiert“, der bei etwa 700 nm ausschneidet. Daher ist es wichtig, eine Lichtquelle zu haben, die beide Seiten dieses Punktes abdeckt.

Die Lichtquelle muss nicht nur so kühl wie möglich, robust und gleichmäßig sein, sondern auch die gesamte Breite der Inspektionslinie durchqueren. Diese Edge-to-Edge-Fähigkeit nutzt das breite Sichtfeld des Sensors, sodass das geprüfte Produkt nicht nur direkt unter dem Sensor selbst, sondern auch bis zu den Rändern gesehen werden kann. In einer Hochgeschwindigkeits-Lebensmittelinspektion gibt es keine Reglementierung, da das Produkt überall sein kann ... an den Rändern oder auf dem Förderband gebündelt. Die Langlebigkeit der Lichtquelle ist ebenfalls wichtig, da viele Lebensmittelkontrolllinien rund um die Uhr laufen.

Da der Sensor Schicht für Schicht einen „Würfel“ aus Bilddaten aufbaut und die Beleuchtung selbst ein sehr dünner Streifen ist, muss der interessierende Bereich (das „Schlitzbild“) beleuchtet werden. Ein weißes Reflexionsziel wird verwendet, um den Sensor vor dem eigentlichen Betrieb zu kalibrieren. Dies ist ein entscheidender Schritt, da der Sensor Bilddaten sammelt, die ein nachgeschaltetes Robotiksystem (z. B. Vakuum, Luftmesser, Greifer) verwendet, um „Gut“ von „Schlecht“ zu trennen Licht in der richtigen Intensität, genau dort, wo es gebraucht wird. Außerdem ist es wichtig, dass eine Dokumentation vorhanden ist, die Wellenlängen und Intensität des Lichts über das Projektionsfeld, die Gleichmäßigkeit des Lichts und die Verschlechterung über Standardentfernungen hinweg bereitstellt. Auf diese Weise kann die genaue Positionierung des Sensors relativ zur Leitung bestimmt werden, falls eine Anpassung an die Architektur der Leitung erforderlich sein sollte.

Robotik

Robotische Subsysteme sind ein natürliches Element vieler fortschrittlicher Verarbeitungslinienanwendungen der maschinellen Bildverarbeitung. Die Fähigkeit zur Unterscheidung und Eliminierung hängt von der Fähigkeit des Sensors und des Robotersystems ab, schnell und zuverlässig in Echtzeit zu kommunizieren. Hyperspec®-Sensoren können Hunderte von Frames pro Sekunde verarbeiten, was bedeutet, dass sie sowohl aus betrieblicher als auch aus wirtschaftlicher Sicht gut geeignet sind, um mit Hochgeschwindigkeitslinien und den darin eingebetteten Robotersystemen zu arbeiten.

Die Bildverarbeitungsbranche versteht, dass die notwendigen Mittel zur Integration einer breiten Palette von Subsystemen in eine nahtlos und kontinuierlich laufende Linie erfordern, dass Kommunikationsprotokolle dem Industriestandard entsprechen und schnell sind. Gigabit-Ethernet wird häufig verwendet, um alles aus Sicht des Datenflusses miteinander zu verbinden. Die HSI-Systeme und Computer, die die eingehenden Daten verwalten, arbeiten alle mit Gigabit-Ethernet, aber auch mit anderen sehr schnellen Kommunikationsverbindungen wie CameraLink.

Datenerhebung und -verarbeitung

Die Inspektion von Sonderkulturen wie Nüssen und Beeren beinhaltet die Betrachtung von sehr ähnlich aussehenden Artikeln mit geringen Abweichungen. Daher ist die Aufteilung des Signals oder Bildes in Hunderte von hyperspektralen „Kanälen“ ein Vorteil für die Industrie.

Da die Benutzerfreundlichkeit von größter Bedeutung ist und steile, aber schnelle Lernkurven erforderlich sind, ist die Software von Headwall intuitiv und enthält Funktionen, mit denen Benutzer ihre Inspektionsprozesse basierend auf dem, was die Sensoren sehen, modifizieren und anpassen können. Der algorithmusbasierte Prozess lokalisiert die spektralen Eigenschaften, auf die Benutzer stoßen könnten. Beispielsweise sind Mandeln mit Insektenschäden bei der RGB-Analyse kaum von „guten“ Mandeln zu unterscheiden. Aber die gleiche Szene, die mit HSI klassifiziert wurde, wird die Aufmerksamkeit auf die beschädigten lenken, die durch das nachgeschaltete Robotersystem beseitigt werden können.

Die Kombination aus innovativen Sensoren, Software und Workflow ermöglicht einer wachsenden Zahl von Benutzern den Zugriff auf HSI mit echten Lösungen, die Spektraldaten verwenden, um nicht nur Verunreinigungen zu erkennen, sondern auch Produkte zu „klassifizieren“, sodass weniger verschwendet und mehr in Einnahmen umgewandelt wird. Hyperspektrale Bildgebung erschließt diese Möglichkeit in der Bildverarbeitungsbranche.

Ressourcen

1. “Markt für Lebensmittelsicherheitstests nach getestetem Ziel (Krankheitserreger, Pestizide, GVO, Mykotoxine und Allergene), Technologie (traditionell und schnell), getestete Lebensmittel (Fleisch, Geflügel, Meeresfrüchte, Milchprodukte, verarbeitete Lebensmittel und Obst). &Gemüse) und Region – Prognose bis 2026 “, Märkte und Märkte, Markt für Lebensmittelsicherheitstests, veröffentlicht im Mai 2021
2. “Die Wirkung von Koffein auf die Farbunterscheidungsfunktion der Netzhaut bei Freiwilligen “, Ovanesov KB. Vlianie. Eksp Klin Farmakol. 1998 Nov.-Dez.; 61 (6):17-9. PMID:9929810
3. „Multispektrale vs. hyperspektrale Bildgebung erklärt “, GISGeographie, 16. Februar 2018
4. “Handbuch der maschinellen Bildverarbeitung “, Alexander Hornberg, Wiley-VCH. p. 694, 2006. ISBN 978-3-527-40584-8

Dieser Artikel wurde von Christian Felsheim, Director Headwall Photonics EMEA, und Dr. Will Rock, Senior Application Engineer, Headwall Photonics (Bolton, MA) verfasst. Weitere Informationen finden Sie unter hier .