Wichtige 3D-Sensing-Technologien erklärt

Unser vorheriger Artikel „3D-Vision-Systeme – welches ist das richtige für Sie?“ behandelte die wichtigsten Parameter von 3D-Vision-Systemen und die Trade-offs, wenn einige Parameter besonders hoch sind. Die diskutierten Parameter umfassten Scanvolumen, Datenerfassungs- & Verarbeitungszeit, Auflösung, Genauigkeit & Präzision, Robustheit, Design & Konnektivität sowie das Preis-Leistungs-Verhältnis.

Jeder dieser Parameter spielt seine Rolle in spezifischen Anwendungen – wo ein Parameter entscheidend ist, kann ein anderer geringfügig sein und umgekehrt.

Wir werden uns auf diese Parameter beziehen, um einen besseren Vergleich der einzelnen Technologien hinter 3D-Vision-Systemen und der Möglichkeiten, die sie bieten, zu ermöglichen.

3D-Sensing-Technologien

Die Technologien, die 3D-Vision-Systeme antreiben, lassen sich in zwei Hauptgruppen unterteilen. Die eine nutzt das Laufzeitprinzip (Time-of-Flight), die andere das Prinzip der Triangulation:

A. Time-of-Flight (ToF)

• Area Scan
• LiDAR

B. Triangulationsbasierte Methoden

• Lasertriangulation (oder Profilometrie)
• Photogrammetrie
• Stereo Vision (passiv und aktiv)
• Strukturiertes Licht (ein Frame, mehrere Frames)
• Die neue „Parallel Structured Light“-Technologie

Dieser Artikel wird die grundlegenden Unterschiede zwischen diesen Techniken diskutieren. Anschließend wird er sich auf einen Aspekt konzentrieren, mit dem alle zu kämpfen haben, den keine von ihnen zufriedenstellend lösen kann – bis auf eine. Dieser Aspekt ist die hochwertige Datenerfassung von Szenen in Bewegung. Es gibt eine einzige, neuartige Technologie, die das Snapshot-Area-Scanning von schnell bewegten Objekten in hoher Qualität ermöglicht und somit den Kompromiss zwischen Qualität und Geschwindigkeit eliminiert. Diese Methode wird am Ende dieses Artikels behandelt. Aber gehen wir Schritt für Schritt vor.

Time-of-Flight (ToF)

ToF-Systeme basieren auf der Messung der Zeit, in der ein vom Lichtquellen ausgesendetes Lichtsignal das gescannte Objekt trifft und zum Sensor zurückkehrt. Obwohl die Scangeschwindigkeit relativ hoch ist, ist die Lichtgeschwindigkeit selbst die Begrenzung. Schon ein kleiner Fehler in der Berechnung des Lichteneinfallsmoments kann zu einem Messfehler von Millimetern bis Zentimetern führen. Eine weitere Limitation ist, dass diese Sensoren relativ niedrige Auflösung bieten.

Es gibt zwei unterschiedliche Techniken, die den ToF-Ansatz nutzen – LiDAR und Area Sensing.

LiDAR

LiDAR-Systeme tasten einen (oder wenige) 3D-Punkte gleichzeitig ab. Während des Scannens ändern sie die Position oder Orientierung des Sensors, um das gesamte Betriebsvolumen zu erfassen.

ToF Area Sensing

ToF-Systeme basierend auf Area Sensing verwenden einen speziellen Bildsensor, um die Zeit für mehrere Messungen in einem 2D-Snapshot zu messen. Sie bieten nicht so hohe Datenqualität wie LiDAR-Systeme, sind aber gut geeignet für dynamische Anwendungen, die mit niedriger Auflösung auskommen. Ein besonderer Nachteil dieser Methode sind Interreflexionen zwischen Teilen der Szene, die Fehlmessungen verursachen können.

ToF-Systeme sind aufgrund des attraktiven Preises von Consumer-Geräten, die primär für Mensch-Computer-Interaktion entwickelt wurden, recht beliebt.

Triangulationsbasierte Methoden

Triangulationsbasierte Systeme beobachten Szenen aus zwei Perspektiven, die eine Baseline bilden. Die Baseline und der inspizierte Punkt bilden ein Dreieck – durch Messen der Winkel dieses Dreiecks können wir die exakten 3D-Koordinaten berechnen. Die Länge der Baseline und die Genauigkeit der Winkelerfassung beeinflussen die Präzision eines Systems stark.

Lasertriangulation = Profilometrie

Lasertriangulation ist eine der beliebtesten 3D-Sensing-Methoden. Sie projiziert ein schmales Lichtband (oder einen Punkt) auf eine 3D-Oberfläche, was eine Beleuchtungslinie erzeugt, die aus einem anderen Winkel als dem des Projektors verzerrt erscheint. Diese Abweichung kodiert Tiefeninformationen.

Da sie jeweils nur ein Profil erfasst, muss entweder der Sensor oder das Objekt bewegt werden, oder das Laserprofil muss durch die Szene scannen, um einen vollständigen Snapshot zu erstellen.

Um die Tiefe für ein einzelnes Profil zu rekonstruieren, erfordert diese Methode die Erfassung eines schmalen Area-Scan-Bildes, wobei dessen Größe die Bildrate und folglich auch die Scangeschwindigkeit begrenzt. Zudem kann die Tiefenberechnung recht komplex werden, da sie auf dem Finden von Intensitätsmaximen in erfassten 2D-Bildern beruht, was allein schon ein komplexes Problem ist.

Photogrammetrie

Photogrammetrie ist eine Technik, die die 3D-Rekonstruktion eines Objekts aus einer großen Anzahl nicht registrierter 2D-Bilder berechnet. Ähnlich wie Stereo Vision verlässt sie sich auf die Textur des Objekts, kann aber von mehreren Samples desselben Punkts mit großer Baseline profitieren. Photogrammetrie kann als Alternative zu LiDAR-Systemen verwendet werden.

Stereo Vision

Stereo Vision basiert auf der Berechnung des Dreiecks: Kamera – gescanntes Objekt – Kamera, was die menschliche Tiefenwahrnehmung imitiert.

Standard-Stereo sucht nach Korrelationen zwischen zwei Bildern (sie müssen Textur/identische Details haben) und identifiziert basierend auf der Disparität die Distanz (Tiefe) vom Objekt. Aufgrund dieser Abhängigkeit vom Material des Objekts wird passive 3D-Stereo für Anwendungen verwendet, die nichts messen, wie Personen zählen.

Um diesen Nachteil auszugleichen, wurde ein aktives Stereo Vision-System entwickelt. Diese Methode projiziert ein Lichtmuster auf die Oberfläche, um eine künstliche Textur auf der Oberfläche und Korrespondenzen in der Szene zu erzeugen. Allerdings erfordert die Identifikation von Korrespondenzen und die Messung eines einzelnen Tiefenpunkts mehrere benachbarte Pixel, was zu einer geringen Anzahl gemessener Punkte mit allgemein geringerer Robustheit führt.

Die Tiefenberechnung basiert auf einer Analyse von Korrespondenzen zwischen dem Stereo-Bildpaar, deren Komplexität mit der Größe des Matching-Fensters und dem Tiefenbereich zunimmt. Um strenge Verarbeitungszeitanforderungen zu erfüllen, wird die Rekonstruktionsqualität oft kompromittiert, was die Methode für bestimmte Anwendungen unzureichend macht.

Strukturiertes Licht

Eine weitere Methode, die ebenfalls zu Triangulationsansätzen gehört, beleuchtet das gescannte Objekt mit sogenanntem strukturiertem Licht. Das Dreieck spannt sich zwischen Projektor, gescanntem Objekt und Kamera auf. Da diese Methode die Erfassung eines vollständigen 3D-Snapshots einer Szene ohne Bewegung von Teilen ermöglicht, bietet die Strukturlicht-Technologie ein hohes Maß an Leistung und Flexibilität.

Raffinierte Projektionsverfahren werden verwendet, um ein kodiertes strukturiertes Muster zu erzeugen, das 3D-Informationen direkt in der Szene kodiert. Diese Informationen werden dann von der Kamera und internen Algorithmen analysiert und liefern ein hohes Maß an Genauigkeit und Auflösung.

Höherauflösende Strukturlicht-Systeme am Markt verwenden mehrere Frames der Szene, jeweils mit einem anderen projizierten strukturierten Muster. Dies gewährleistet hochgenaue pro-Pixel-3D-Informationen, erfordert aber eine statische Szene zum Zeitpunkt der Erfassung.

Einer der größten Nachteile projektionsbasierter Ansätze ist die Tiefenschärfe (oder Tiefenbereich). Um den Projektor fokussiert zu halten, benötigt das System eine schmale Blende. Dies ist optisch nicht effizient, da das blockierte Licht zusätzliche Wärme und interne Reflexionen im Projektionssystem erzeugt. Dies begrenzt den Einsatz dieser Technologie für größere Tiefenbereiche.

Photoneo löste dieses Problem mit einem Laser, der strukturierte Muster erzeugt. Photoneo-Systeme bieten nahezu unbegrenzten Tiefenbereich und auch die Möglichkeit, Schmalbandpassfilter zu nutzen, um Umgebungslicht auszublenden.

Für eine bewegte Anwendung muss ein Ein-Frame-Ansatz verwendet werden. Eine konventionelle Technik kodiert die charakteristischen Merkmale von Multi-Frame-Systemen in ein strukturiertes Muster, mit starkem Einfluss auf XY- und Z-Auflösung. Ähnlich wie ToF-Systeme gibt es in dieser Kategorie Consumer-Produkte.

Parallel Structured Light

Es gibt nur eine Methode, die die Limitationen des Scannens bewegter Szenen überwinden kann.

Die neuartige, patentierte Technologie namens Parallel Structured Light wurde von Photoneo entwickelt und ermöglicht die Erfassung von Objekten in Bewegung in hoher Qualität. Die Methode nutzt strukturiertes Licht in Kombination mit einem proprietären Mosaik-Verschluss-CMOS-Bildsensor.

Während die Strukturlicht-Methode projektor-kodierte Muster sequenziell erfasst, erfasst die Parallel Structured Light Technologie mehrere Bilder von strukturiertem Licht parallel – das ist der spielverändernde Faktor. Da die Bildaufnahme einer 3D-Oberfläche mehrere Frames erfordert, wäre die Ausgabe beim Scannen eines bewegten Objekts mit der Strukturlicht-Methode verzerrt. Die Parallel Structured Light Technologie rekonstruiert das 3D-Bild einer dynamischen Szene aus einem einzigen Sensorschuss.

Der spezielle Sensor besteht aus Superpixel-Blöcken, die weiter in Subpixel unterteilt sind. Der Laser aus einem Strukturlichtprojektor ist die ganze Zeit an, während die Belichtungen der einzelnen Pixel in kodierter Weise ein- und ausgeschaltet werden. So gibt es eine Projektion und ein erfasstes Bild – aber dieses Bild enthält mehrere Sub-Bilder, jedes virtuell von einem anderen Lichtmuster beleuchtet.

Das Ergebnis ist dem von mehreren Bildern über Zeit sehr ähnlich, mit dem Unterschied, dass diese neue Methode sie simultan erfasst = deshalb „Parallel Structured Light“. Ein weiterer Vorteil dieser Technik ist die Möglichkeit, den Sensor in den sequenziellen Modus zu schalten und eine volle 2MP-Auflösung mit metrologie-tauglicher Qualität zu erhalten.

Die Parallel Structured Light Technologie bietet somit die hohe Auflösung von Multi-Frame-Strukturlicht-Systemen und die schnelle, ein-Frame-Erfassung von ToF-Systemen.

Photoneo implementierte diese Technologie in seine 3D-Kamera MotionCam-3D und entwickelte damit die höchstauflösendste und präziseste Area-Scan-3D-Kamera, die Objekte in Bewegung erfassen kann.

Fazit

Dieser Artikel stellte eine Vielzahl von 3D-Vision-Methoden vor und erklärte ihre spezifischen Vor- und Nachteile. Die meisten State-of-the-Art 3D-Methoden gehen einen Kompromiss zwischen Qualität und Geschwindigkeit ein, entweder wegen eines anspruchsvollen Erfassungsprozesses oder komplexer Datenverarbeitung. Die einzige Technologie, die sowohl Qualität als auch Geschwindigkeit gleichzeitig liefert, ist Parallel Structured Light basierend auf Photoneos originalem CMOS-Sensor. Diese neue Methode erweitert den Bereich möglicher Anwendungen und ermöglicht Automatisierung, wo sie zuvor nicht möglich war.