Wie 3D-Visionstechnologie die moderne Automatisierung revolutioniert

3D-Vision ist das Herzstück moderner Automatisierung, die industrielle Prozesse auf zahllose Weise verbessert und unser Leben erleichtert. Sie hilft uns, Produkte zu sortieren, Objekte in Qualitätskontrollen zu prüfen und Fehler zu finden, und vielfältige Aufgaben schneller und effizienter zu erledigen als je Menschen könnten. Vision-geführte Roboter werden häufig für gefährliche Aufgaben und zum Handling schwerer Objekte eingesetzt – sie erhöhen Sicherheit und eliminieren Verletzungsrisiken.

3D-Sensing-Technologien haben einen langen Weg zurückgelegt, um all diese Vorteile zu liefern, die wir heute genießen – und sie entwickeln sich weiter. Vom ersten Foto zur digitalen Bildgebung, von 2D zu 3D, und vom 3D-Scannen statischer Objekte zur Erfassung dynamischer Szenen. Was kommt als Nächstes?

Gemeinsam mit Tomas Kovacovsky, Mitgründer und CTO der Photoneo Group, blicken wir auf die Geschichte der 3D-Maschinenvision bis zu den neuesten Fortschritten, die heutige Trends wie Industry 4.0 dominieren. Lassen Sie uns einen kurzen Blick darauf werfen.

Fotografie und die ersten Technologien zur Bilderfassung

Seit den Anfängen der Fotografie fasziniert die Möglichkeit, Ereignisse festzuhalten und aufzuzeichnen. Das erste bekannte Foto wurde irgendwo zwischen 1826 und 1827 vom französischen Erfinder Joseph Nicéphore Niépce aufgenommen. Sein fotografischer Prozess erforderte mindestens acht Stunden, wenn nicht mehrere Tage Belichtung in der Kamera. Sein Mitarbeiter Louis Daguerre entwickelte den ersten öffentlich angekündigten fotografischen Prozess (Daguerreotypie), der nur Minuten Belichtung brauchte. Die Erfindung wurde 1839 der Öffentlichkeit vorgestellt – ein Jahr, das allgemein als Geburt der praktischen Fotografie gilt.

Lange diente Fotografie nur als Medium zur Ereignisaufzeichnung. Da die Bildverarbeitung eher lange dauerte, war die analoge Technologie nicht ideal für Machine Vision oder Entscheidungsaufgaben.

1969 erfanden William Boyle und George E. Smith von den amerikanischen Bell Laboratories den CCD-Sensor (Charge-Coupled Device) zur Bildaufnahme, ein wichtiger Meilenstein der digitalen Bildgebung. Ein CCD-Sensor fängt Bilder ein, indem er Photonen in Elektronen umwandelt – er nimmt Licht und wandelt es in digitale Daten um. Obwohl CCDs damals mit Standardfilm für die Bildaufnahme nicht konkurrieren konnten, begannen sie, für bestimmte Anwendungen genutzt zu werden, und der Ball rollte.

Von 2D zu 3D

2D-Sensing startete das Automatisierungszeitalter und war lange der vorherrschende Ansatz in der industriellen Automatisierung. 2D-Vision wird auch heute noch in einigen einfachen Anwendungen genutzt, darunter:

• Optische Zeichenerkennung (OCR) – Lesen von maschinell, handschriftlich oder gedruckten Texten; Barcode-Lesen
• Qualitätskontrolle – oft in Kombination mit spezieller Beleuchtung, um optische Eigenschaften des gescannten Objekts konstant zu halten
• Zählen
• Entnehmen von Objekten unter gut definierten Bedingungen

Die große Limitation von 2D-Technologien: Sie können Objektformen nicht erkennen oder Distanzen in der Z-Dimension messen.

2D-Anwendungen erfordern gute, klar definierte Bedingungen mit Zusatzbeleuchtung, was Anwendungen wie Bin Picking einschränkt. Diese robotergestützte Aufgabe kann mit 2D-Vision durchgeführt werden, ist aber generell problematisch wegen der zufälligen Position der Objekte im Behälter und der großen Informationsmenge in der Szene, die 2D-Systeme nicht bewältigen können.

Man erkannte die Notwendigkeit von 3D-Informationen, um komplexere Aufgaben zu automatisieren. Man verstand, dass Menschen ihre Umgebung in 3D sehen und Entfernungen abschätzen können, weil sie zwei Augen haben – stereoskopisches Sehen.

In den 1960ern beschrieb Larry Roberts, der als Vater der Computer Vision gilt, wie man 3D-geometrische Informationen aus 2D-Fotografien von Strichzeichnungen ableitet und wie ein Computer ein 3D-Modell aus einem einzelnen 2D-Foto erstellen kann.

In den 1970ern startete an MITs KI-Lab ein „Machine Vision“-Kurs für Low-Level-Machine-Vision-Aufgaben. Hier entwickelte David Marr einen einzigartigen Ansatz zum Szenenverständnis durch Computer Vision, bei dem er Vision als Informationsverarbeitungssystem behandelte. Sein Ansatz begann mit einer 2D-Skizze, die der Computer zu einem finalen 3D-Bild aufbaute.

Forschung in Machine Vision intensivierte sich in den 1980ern und brachte neue Theorien und Konzepte hervor. Diese führten zu einer Reihe distinkter 3D-Machine-Vision-Technologien, die nach und nach in industriellen und Fertigungsumgebungen zur Automatisierung breitester Prozesse eingesetzt wurden.

Erste 3D-Visionstechnologien

Der Versuch, menschliches stereoskopisches Sehen nachzuahmen, führte zur Entwicklung einer der ersten 3D-Sensing-Technologien – passives Stereo. Dieses Triangulationsverfahren beobachtet eine Szene von zwei Standpunkten und berechnet das Dreieck Kamera – gescanntes Objekt – Kamera, sucht Korrelationen zwischen den beiden Bildern. Basierend auf der Disparität zwischen den Bildern berechnet es die Distanz (Tiefe) zum gescannten Objekt. Da dieser Ansatz auf der Suche nach identischen Details in den Bildern beruht, funktioniert er nicht gut bei weißen Wänden oder musterlosen Szenen. Die Zuverlässigkeit von passivem Stereo ist gering, die 3D-Ausgabe hat meist hohes Rauschen und erfordert viel Rechenleistung.

Um diesen Nachteil auszugleichen, experimentierten Forscher mit der Projektion von Lichtmustern auf die Szene, um eine künstliche Textur auf der Oberfläche zu erzeugen und Korrespondenzen leichter zu identifizieren. Diese Methode heißt aktives Stereo. Zwar ist sie zuverlässiger als passives Stereo, doch die Rekonstruktionsqualität wird oft durch strikte Anforderungen an die Verarbeitungszeit beeinträchtigt, was sie für viele Anwendungen unzureichend macht.

Eine der frühesten und bis heute beliebten Methoden zur 3D-Informationsgewinnung ist Laserprofilometrie. Diese Technik projiziert ein schmales Lichtband (oder einen Punkt) auf eine 3D-Oberfläche, was eine Beleuchtungslinie erzeugt, die aus einem anderen Winkel als dem des Projektors verzerrt erscheint. Diese Abweichung kodiert Tiefeninformation. Linescanner erfassen ein Tiefenprofil nach dem anderen in schneller Folge, wofür sie entweder das gescannte Objekt oder die Kamera ständig bewegen müssen. Laserprofilometrie war eine der ersten 3D-Scanmethoden, die industriell eingesetzt wurde, und ist nach wie vor beliebt in metrologischen Anwendungen.

Eine weitere Methode durch Projektion strukturierter Lichtmuster auf eine Szene ist Strukturiertes Licht. Eines der meistzitierten Werke zur Nutzung strukturierten Lichts mit Binärcodes für digitale Restaurierung war The Digital Michelangelo Project unter Leitung von Marc Levoy und seinem Team an der Stanford University. Das Projekt startete 1998 zur Digitalisierung von Michelangelos Statuen mit Projektor und Kamerasensor. Die Laserscandaten von Michelangelos David wurden dann für die Restaurierung ab 2002 genutzt. Zwar war die Methode nicht schnell genug für Echtzeitanwendungen, lieferte aber sehr hohe Genauigkeit für die Digitalisierung diverser Artefakte und Objekte. Dadurch fand die Technologie ihre Nische in metrologischen Anwendungen und anderen robotergestützten Machine-Vision-Aufgaben mit hoher Scanpräzision.

Allmählich erweiterte sich die strukturierte Lichttechnologie über Metrologie hinaus und durchdrang alle Arten von Online-Anwendungen mit vision-geführten Robotern. Der Vorteil strukturierter Licht-3D-Scanner: Sie erfordern keine Bewegung. Da sie einen Schnappschuss des gesamten Scanbereichs machen können, muss man nicht um das ganze Objekt herumfahren – sie sind schneller als laserprofilometriebasierte Geräte und benötigen weniger Daten-Nachbearbeitung.

Von statischen zu dynamischen Szenen

Die Erfassung von Bewegung ist weit anspruchsvoller als 3D-Scannen statischer Szenen und disqualifiziert Methoden, die längere Erfassungszeiten benötigen.

Weil passives Stereo eine passive Methode ohne Zusatzbeleuchtung ist, könnte es für dynamische Szenen genutzt werden – aber nur unter bestimmten Bedingungen. Dennoch wären die Ergebnisse nicht gut.

Laserprofilometrie ist in dieser Hinsicht nicht viel erfolgreicher. Da sie ein Profil nach dem anderen erfasst, muss für einen Gesamtschnappschuss die Kamera oder die Szene bewegt werden. Die Technologie kann jedoch kein dynamisches Ereignis erfassen. Für die Tiefenrekonstruktion eines einzelnen Profils erfordert sie die Erfassung eines schmalen Bereichs-Scanbilds, wobei dessen Größe die Bildrate und damit die Scangeschwindigkeit limitiert.

Strukturiertes Licht-Systeme projizieren mehrere Lichtmuster nacheinander auf die Szene. Dafür muss die Szene statisch sein. Bewegt sich das gescannte Objekt oder die Kamera, bricht der Code und die 3D-Punktwolke wird verzerrt.

Die Notwendigkeit, dynamische Objekte 3D zu rekonstruieren, führte zur Entwicklung von Time-of-Flight (ToF)-Systemen. Ähnlich wie strukturiertes Licht ist ToF eine aktive Methode, die Lichtsignale in die Szene sendet und diese mit Kamera und Software interpretiert. Im Gegensatz zu strukturiertem Licht strukturiert ToF das Licht in der Zeit, nicht im Raum. Es funktioniert nach dem Prinzip, die Zeit zu messen, die ein vom Lichtquellen emittiertes Signal braucht, bis es das gescannte Objekt trifft und zum Sensor zurückkehrt.

Die ersten ToF-Systeme hatten eher geringe Qualität. Große Player waren Unternehmen wie Canesta, 3DV Systems oder Microsoft (das beide später übernahm). Ein frühes bekanntes Projekt war die ZCam – eine ToF-Kamera von 3DV, später von Microsoft gekauft für 3D-Informationserfassung und Interaktion mit virtuellen Objekten in der Xbox-Konsole.

2010 brachte Microsoft den Kinect-Sensor für Xbox heraus, eine bewegungserkennende Kamera basierend auf PrimeSense-Technologie. PrimeSense nutzte ein strukturiertes Muster, um bestimmte Pixel (nicht alle) zu kodieren und 3D-Informationen zu gewinnen. Zwar konnte die Methode keine hohe Auflösung und detaillierte Konturen an Kanten liefern, wurde aber aufgrund schneller Verarbeitungsgeschwindigkeit und Erschwinglichkeit weit adaptiert. Hauptsächlich im akademischen Bereich genutzt, kaum auch in industriellen Umgebungen für robotergestütztes Picken und andere Aufgaben.

Im Gegensatz zu Kinect 1 basierte Kinect 2 auf ToF-Technologie. Fortschritte bei ToF machten die Methode zunehmend populär und weit adaptiert – sie konnte höhere Qualität als PrimeSense liefern, doch die Auflösung von 3D-Scans dynamischer Szenen war immer noch nicht ausreichend.

Heutige ToF-Systeme sind in 3D-Vision-Anwendungen recht beliebt dank schneller Scan-Geschwindigkeit und nahezu Echtzeit-Erfassung. Ihre Auflösung bleibt jedoch ein Problem, und sie kämpfen mit höheren Rauschpegeln.

2013 kam Photoneo mit einer revolutionären Idee, wie man schnelle Bewegungen erfasst, um 3D-Informationen in hoher Auflösung und Submillimeter-Genauigkeit zu erhalten.

Die patentierte Technologie des Parallel Structured Light basiert auf einem speziellen, proprietären CMOS-Sensor mit Multi-Tap-Shutter und Mosaik-Pixelmuster, der die Art der Bildaufnahme grundlegend ändert.

Dieser neuartige Snapshot-Ansatz nutzt strukturiertes Licht, vertauscht aber die Rollen von Kamera und Projektor: Während strukturierte Lichtsysteme mehrere Muster nacheinander vom Projektor aussenden, sendet Parallel Structured Light einen sehr einfachen Lasersweep ohne Musterung über die Szene und konstruiert die Muster auf der anderen Seite – im CMOS-Sensor. Das alles passiert in einem einzigen Zeitmoment und ermöglicht die Konstruktion mehrerer virtueller Bilder innerhalb eines Belichtungsfensters. Das Ergebnis ist ein hochauflösendes, hochpräzises 3D-Bild bewegter Szenen ohne Bewegungsartefakte.

Eine dynamische Szene, erfasst mit Parallel Structured Light Technologie.

Die Parallel Structured Light Technologie ist in Photoneos 3D-Kamera MotionCam-3D implementiert. Die Entwicklung der Kamera und ihre Markteinführung markierten einen Meilenstein in der Geschichte der Machine Vision, da sie vision-geführte Robotik neu definierte und Automatisierungsmöglichkeiten auf beispiellose Weise erweiterte. Der neuartige Ansatz wurde mit zahlreichen Preisen ausgezeichnet, darunter Vision Award 2018, Vision Systems Design Innovators Platinum Award 2019, inVision Top Innovations 2019, IERA Award 2020, Robotics Business Review’s RBR50 Robotics Innovation Awards 2021, inVision Top Innovations 2021 und SupplyTech Breakthrough Award 2022.

3D-Scannen in Bewegung und Farbe

2022 erweiterte Photoneo die Fähigkeiten der MotionCam-3D durch eine Farbeinheit zur Erfassung von Farbdaten. MotionCam-3D Color gilt als der nächste „Silver Bullet“ in der Machine Vision, da sie endlich Echtzeit-farbige 3D-Punktwolkenerstellung bewegter Szenen in perfekter Qualität ermöglicht. Dank der einzigartigen Kombination von 3D-Geometrie, Bewegung und Farbe öffnet die Kamera die Tür zu anspruchsvollen KI-Anwendungen und Robotikaufgaben, die nicht nur auf Tiefeninformationen, sondern auch auf Farbdaten basieren.

Echtzeit-farbige 3D-Punktwolkenerstellung einer bewegten Szene mit MotionCam-3D Color.

Anwendungsbereiche durch Machine-Vision-Innovationen

Die Möglichkeiten der neuesten Innovationen in der 3D-Machine-Vision ermöglichen Automatisierung von Aufgaben, die bis vor Kurzem nicht machbar waren. Diese Anwendungen finden sich in Fertigung, Logistik, Automobil, Lebensmittelhandel, Landwirtschaft, Medizin und anderen Sektoren und umfassen:

• Roboterhandling von Objekten in konstanter oder zufälliger Bewegung
• Entnehmen von Förderbändern und Hängeförderern
• Hand-Auge-Manipulation
• 3D-Modellerstellung für Inspektion und Qualitätskontrolle
• Reinigung und Lackierung großer Objekte
• Wartungsoperationen in VR/AR
• Sortieren und Ernten in der Landwirtschaft
• Und viele mehr

Was kommt als Nächstes?

Machine Vision entwickelt sich weiter, um neue Fortschritte mit neuen Möglichkeiten zu bringen. Die Innovationsrichtung wird immer von Marktnachfrage, Kundenanforderungen, Wettbewerb und anderen Faktoren beeinflusst.

Wir können erwarten, dass der Trend, KI in alle Bereiche der Machine Vision zu deployen, definitiv fortgesetzt wird, mit dem Ziel, die Entwicklung maßgeschneiderter Algorithmen zu eliminieren. Wir sehen ein riesiges Potenzial im Bereich Künstliche Intelligenz (KI) und ihrer Kombination mit der Parallel Structured Light Technologie. Einerseits ist KI auf gute Daten angewiesen. Andererseits kann die neue Machine-Vision-Technologie große Mengen hochwertiger echter 3D-Daten liefern. Die Kombination dieser beiden Ansätze kann intelligente Robotik transformieren und eine neue Sphäre von Möglichkeiten eröffnen.

Eine weitere vielversprechende Richtung zukünftiger Entwicklungen ist Edge Computing. Hersteller werden wahrscheinlich ihre Bemühungen fortsetzen, KI direkt in Sensoren zu integrieren und sie für definierte Zwecke zu spezialisieren (z. B. Personenzählung, Dimensionierung, automatisierte Erkennung definierter Objekteigenschaften), was die Bereitstellung für Integratoren erleichtert und den Bedarf an zusätzlichen Komponenten minimiert. Neue Hardwaresolutions, die bewegte Szenen erfassen, kombiniert mit fortschrittlichen KI-Algorithmen, werden die sich stetig erweiternden Anwendungsbereiche sogar in anspruchsvollere Gebiete wie kollaborative Robotik oder vollständige Logistikautomatisierung ausdehnen.