Time-of-Flight-Sensoren verstehen: Wie ToF 3D-Kameras Distanz messen

Time-of-Flight-Sensoren verstehen: Wie ToF 3D-Kameras Distanz messen

Wie bestimmen Time-of-Flight-Sensoren Entfernungen? Erfahren Sie mehr über ToF-Kameras am Beispiel einer 3D-Kamera.

Wie bestimmen Time-of-Flight-Sensoren Entfernungen? Erfahren Sie mehr über ToF-Kameras am Beispiel einer 3D-Kamera.

Drei führende 3D-Imaging-Technologien konkurrieren um Platz in Ihrem Smartphone und Ihrem Automobil. Diese Technologien sind stereoskopisches Imaging, strukturierte Lichtprojektion und Time-of-Flight (ToF) Kameras. Die Daten, die diese Geräte erzeugen, können Fußgängererkennung, Nutzerauthentifizierung basierend auf Gesichtsmerkmalen, Handbewegungsdetektion und SLAM-Algorithmen (Simultaneous Localization and Mapping) speisen.

Zwei der größten Player in diesem Bereich sind ams und Infineon. Zum Zeitpunkt des Schreibens führt ams je einen Sensortyp jeder Art, während Infineon sich auf Time-of-Flight-Sensoren fokussiert.

 

 

Dieser Artikel beschreibt die Technologie hinter Time-of-Flight-Sensoren, indem er sich auf ein 3D-Kamera-Entwicklungskit „pico flexx“ von pmdtechnologies fokussiert. (Bevor Sie fragen: sowohl „pico flexx“ als auch „pmdtechnologies“ werden auf deren Website komplett kleingeschrieben.)

Der pico flexx basiert auf dem gemeinsam entwickelten 3D-Bildsensor REAL3 von Infineon und pmd.

 

Falschfarben-3D-Bild einer Hand von pmdtec.com vom 29. April 2019. Farben sind einzelnen Pixeln basierend auf Distanz vom Sensor zur Hand zugeordnet (rot ist nah, blau ist fern)

 

Bitte beachten Sie, dass pmd ein Gerät für diesen Artikel bereitstellte.

 

Was ist ein Time-of-Flight-Sensor?

Time-of-Flight-Sensoren messen die Zeit, die etwas braucht, um eine Distanz durch ein Medium zu durchlaufen. Typischerweise ist dies die Messung der verstrichenen Zeit zwischen der Emission eines Wellenpulses, seiner Reflexion an einem Objekt und seiner Rückkehr zum ToF-Sensor. Eine Time-of-Flight-Kamera ist ein Gerät, das ToF-Messung nutzt, um Entfernungen zwischen Kamera und Objekten oder Umgebungen zu bestimmen und Bilder aus individuell gemessenen Punkten zu erzeugen.

Anwendungen von ToF-Kameras umfassen laserbasierte scannerlose LiDAR-Imaging-Systeme, Bewegungserfassung und -tracking, Objekterkennung für Machine Vision und autonomes Fahren, topografisches Mapping und mehr.

Aber wie werden diese Messungen erreicht?

Unten habe ich drei Wege dargestellt, Laufzeit zur Distanzbestimmung zu nutzen.

 

Methoden der Nutzung von Laufzeit zur Distanzbestimmung

 

Oben im Bild sehen Sie die erste Methode: Pulse senden und das Zeitintervall messen, bis sie nach Reflexion zurückkehren.

Die Mitte zeigt die zweite Methode: Amplitude einer Lichtquelle modulieren und die Phasenverschiebung der reflektierten Welle aufzeichnen.

Unten die dritte Methode: 50% Tastverhältnis-Rechteckwelle senden und die Menge des zurückkehrenden Lichts messen, das in einem spezifischen Intervall ankommt.

 

Millimeter-Präzision ToF-Kameras

Licht und Radiowellen bewegen sich mit nahezu 300.000.000.000 mm/s, was ~3,3 ps für eine Welle entspricht, um 1 mm zu durchlaufen (und weitere 3,3 ps für die Rückkehr). Das bedeutet: Wenn Sie ein Gerät wollen, das alle Objekte im Raum abbildet und ~1 mm Auflösung wünscht, bräuchten Ihre Timing-Elektronik Pikosekunden-Auflösung. Das entspricht Taktraten von hunderten GHz.

Es ist weder einfach noch ökonomisch, elektronische Schaltungen zu entwerfen, die bei diesen Frequenzen arbeiten, also mussten Designer einen Weg finden, bei niedrigeren Frequenzen zu arbeiten, um Geräte für den Consumer-Markt erschwinglich zu machen.

Zwei gängige Methoden existieren, um Millimeter-Präzision bei vernünftigen, sub-GHz-Frequenzen zu erreichen:

• Phasenverschiebung einer sinusförmig modulierten Welle zur Distanzbestimmung nutzen
• Phasenverschiebung einer 50%-Tastverhältnis-Rechteckwelle und differentieller Spannung zur Distanzbestimmung nutzen

In den folgenden Abschnitten betrachten wir diese beiden Methoden genauer.

Distanzbestimmung durch Phasenverschiebung einer amplitudenmodulierten Welle

Angenommen, Sie wollen ein kleines Büro oder großes Wohnzimmer mit maximaler Längendimension von 15 m ausmessen. Um eine passende Betriebsfrequenz für diese Länge zu bestimmen, nutzen Sie $$c=\lambda \cdot f$$ wobei c die Lichtgeschwindigkeit ist (c=3x10⁸ m/s), λ eine Wellenlänge (λ=15 m), und f die Frequenz. In diesem Beispiel f=20 MHz, eine relativ einfache Frequenz.

Alles beginnt, wenn ein helles Licht seinen Output mit einem 20 MHz Sinussignal moduliert. Die Lichtwelle erreicht schließlich ein Objekt oder die Wand, reflektiert und kehrt die Richtung um. Eine gedimmte Version des original modulierten Lichts kehrt zum Empfänger zurück. Außer das Objekt ist genau ein ganzzahliges Vielfaches von 15 Metern entfernt, wird die Phase um einen bestimmten Betrag verschoben.

Die Phasenverschiebung kann genutzt werden, um die zurückgelegte Distanz der Welle zu berechnen.

 

 

Wenn Sie den Phasenwinkel präzise messen können, können Sie präzise bestimmen, wie weit das reflektierende Objekt vom Sensor/Empfänger entfernt ist.

 

Wie man den Phasenwinkel eines Sinus misst

Wie misst man schnell den Phasenwinkel eines Sinus? Das involviert die Messung der Amplitude des empfangenen Signals an vier gleichmäßig verteilten Punkten (also 90° oder 1/4 λ Trennung).

 

$$\varphi=ArcTan \left ( \frac{A_1-A_3}{A_2-A_4} \right )$$

 

Ich habe versucht, die Beziehung zwischen den Messungen und dem Phasenwinkel unten zu illustrieren. Das Verhältnis der Differenz zwischen A₁ und A₃ und der Differenz zwischen A₂ und A₄ entspricht dem Tangens des Phasenwinkels. ArcTan ist tatsächlich die zwei-Argument-Arc-Tangens-Funktion, die passende Quadranten abbildet und definiert, wenn A₂=A4 und A₁>A₃ oder A₃>A₁ als 0° bzw. 180°.

 

Auf das Diagramm klicken für ein komplexeres Bild, das illustriert, wie die Differenzen der Variablen A₁, A₂, A₃ und A₄ auf dem Einheitskreis passen.

 

In der obigen Illustration hat der weit linke Graph zwei vertikale Zahlenlinien, die das Ergebnis der Subtraktion von A₁ und A₃ (dargestellt als dunkles Gelb) und A₂ und A₄ (dargestellt als Blau) zeigen. Die gemessenen Werte werden als vertikale Linien in den Sinusgraphen in der Mitte gezeigt.

Beachten Sie, dass diese Grafik keine Reflexion berücksichtigt (was effektiv alles um 180° verschieben würde).

 

Betriebsfrequenz für eine gegebene Distanz bestimmen

Zurück zu unserem Beispiel: Die Distanz zum Ziel wird mit der Gleichung bestimmt:

 

$$d=\frac{c \cdot \varphi}{4 \pi \cdot f}$$

 

Wobei c die Lichtgeschwindigkeit ist, phi (φ) der Phasenwinkel (in Radiant) und f die Modulationsfrequenz.

Die tatsächliche Time-of-Flight eines Photons zu messen erfordert 333 GHz Elektronik. Diese Methode erfordert maximal 4x die Modulationsfrequenz, was hier 4x20 MHz=80 MHz entspricht. Das ist eine phänomenale Ressourcenreduktion. Aber Sie werden froh sein zu wissen, dass clevere Ingenieure einen Weg fanden, die maximale Frequenz sogar weiter zu reduzieren.

Phasenverschiebung durch differentielle Spannungsmessung geladener Kondensatoren bestimmen

Die nächste Messsituation involviert eine stroboskopische Lichtquelle und einen CMOS-Imaging-Sensor mit zwei Kondensatoren pro Pixel.

Eine Taktquelle erzeugt eine 50%-Tastverhältnis-Rechteckwelle und diese steuert eine helle Stroboskop-Lichtquelle sowie die Verbindung zu den Ladungsspeicher-Kondensatoren in jedem Pixel.

Ein Beispiel eines solchen Systems ist im Bild unten dargestellt:

 

Bild aus „A Fast Calibration Method for Photonic Mixer Device Solid-State Array LiDARS“ – Dies zeigt ein CMOS-Pixel mit zwei Ladungsspeicher-Kondensatoren, die abwechselnd angeschlossen werden, um eintreffendes Licht aufzuzeichnen.

 

Licht verlässt die Quelle, reflektiert an einem Objekt und trifft das Pixel, wo es als Ladung in Kondensator C_A oder C_B oben aufgezeichnet wird. Die Kondensatoren werden abwechselnd mit derselben Frequenz wie die Beleuchtungsquelle an das Pixel angeschlossen, unter Nutzung derselben Taktquelle.

Diese clevere Anordnung bedeutet, dass die differentielle Ladung in den Kondensatoren direkt zur Phasenverschiebung korreliert. Und die Phase wird durch Wellenlänge und Distanz zum Ziel und zurück bestimmt.

 

Bild aus „A Fast Calibration Method for Photonic Mixer Device Solid-State Array LiDARS“

 

Das Objekt kann so viele Zyklen beleuchtet werden, wie nötig, um die Kondensatoren zu füllen. Solange die Distanz konstant bleibt, bleiben die Ladungsanteile gleich.

Time-of-Flight-Sensoren in Aktion

Wie gut funktioniert diese Methode? Besser als Sie vielleicht erwarten.

Der AAC bereitgestellte Sensor, kombiniert mit der begleitenden Software, hat die Fähigkeit, bis zu 45 fps aufzuzeichnen. Bei niedrigeren Refresh-Raten kann das System problemlos Falten auf einem Hemd abbilden.

 

Das obige Bild plottet die (x,y,z) Vertex-Lokation jedes erfassten Pixels von pmds pico flexx Kamera.

 

Tiefen-only-Daten sind allein schwer zu visualisieren. Daher wird das Tiefenbild oft mit einem Foto kombiniert oder mittels Falschfarben dargestellt, um einfachere Szeneninterpretation zu ermöglichen.

 

Ein Falschfarben-Tiefen-Overlay eines niedrigaufgelösten Bildes erleichtert die Szeneninterpretation. Bild des Goober-Autors aufgenommen mit pmds Royal Viewer Software und dem CamBoard pico flexx 3D Entwicklungskit.

 

---

 

Time-of-Flight-Sensoren können in vielfältigen Anwendungen genutzt werden, einschließlich Erstellung einer 3D-Umgebungskarte, wenn clevere Physik mit Engineering kombiniert wird.

Haben Sie je 3D-Kameras in Ihrer Arbeit genutzt? Was können Sie uns über Design-Zwänge bei der Nutzung von Time-of-Flight-Sensoren sagen? Teilen Sie Ihre Erfahrungen in den Kommentaren.