Wie funktionieren Flugzeitsensoren (ToF)? Ein Blick auf ToF-3D-Kameras

Wie ermitteln Laufzeitsensoren Entfernungen? Erfahren Sie mehr über ToF-Kameras anhand einer 3D-Beispielkamera.

Wie bestimmen Laufzeitsensoren Entfernungen? Erfahren Sie mehr über ToF-Kameras anhand einer 3D-Beispielkamera.

Es gibt drei führende 3D-Bildgebungstechnologien, die um Platz in Ihrem Handy und Ihrem Auto konkurrieren. Diese Technologien sind stereoskopische Bildgebung, strukturierte Lichtprojektion und Time-of-Flight (oder ToF) Kameras. Die von diesen Geräten generierten Daten können Fußgängererkennung bereitstellen, Benutzer anhand von Gesichtsmerkmalen authentifizieren, Handbewegungen erkennen und SLAM-Algorithmen (simultane Lokalisierung und Kartierung) füttern.

Zwei der größten Player in diesem Bereich sind ams und Infineon. Zum Zeitpunkt der Abfassung dieses Artikels führt ams einen von jedem Sensortyp und Infineon konzentriert sich ausschließlich auf Time-of-Flight-Sensoren.

Dieser Artikel beschreibt die Technologie hinter Time-of-Flight-Sensoren anhand eines 3D-Kamera-Entwicklungskits „pico flexx“ von pmdtechnologies. (Bevor Sie fragen, werden sowohl "pico flexx" als auch "pmdtechnologies" auf ihrer Website nur in Kleinbuchstaben dargestellt.)

Der pico flexx basiert auf dem gemeinsam entwickelten 3D-Bildsensor REAL3 von Infineon und pmd.

Falschfarbenes 3D-Bild einer Hand, aufgenommen von pmdtec.com am 29. April 2019. Die Farben werden einzelnen Pixeln basierend auf der Entfernung vom Sensor zur Hand zugeordnet (Rot ist nah, Blau ist fern)

Bitte beachte, dass pmd uns für diesen Artikel ein Gerät zur Verfügung gestellt hat.

Was ist ein Flugzeitsensor?

Flugzeitsensoren messen die Zeit, die etwas benötigt, um eine Strecke durch ein Medium zurückzulegen. Typischerweise ist dies die Messung der Zeit, die zwischen dem Aussenden eines Wellenimpulses, seiner Reflexion an einem Objekt und seiner Rückkehr zum ToF-Sensor verstrichen ist. Eine Flugzeitkamera ist ein Gerät, das ToF-Messungen verwendet, um Abstände zwischen der Kamera und Objekten oder Umgebungen zu bestimmen und Bilder zu erstellen, die durch einzeln gemessene Punkte erzeugt werden.

Zu den Anwendungen von ToF-Kameras gehören laserbasierte, scannerlose LiDAR-Bildgebungssysteme, Bewegungserkennung und -verfolgung, Objekterkennung für maschinelles Sehen und autonomes Fahren, topografische Kartierung und mehr.

Aber wie werden diese Messungen erreicht?

Unten habe ich drei Möglichkeiten dargestellt, die Reisezeit zur Bestimmung der Entfernung zu verwenden.

Methoden zur Verwendung der Reisezeit zur Bestimmung von Entfernungen

Oben im Bild sehen Sie die erste Methode, die darin besteht, Impulse zu senden und das Zeitintervall zu messen, bis sie nach der Reflexion zurückkehren.

Die Bildmitte zeigt die zweite Methode, bei der Sie die Amplitude einer Lichtquelle modulieren und die Phasenverschiebung der reflektierten Welle aufzeichnen können.

Der untere Teil des Bildes stellt die dritte Methode dar, die eine Rechteckwelle mit einem Tastverhältnis von 50 % überträgt und die Menge des zurückgesandten Lichts aufzeichnet, die in einem bestimmten Intervall ankommt.

Millimeter-Präzisions-ToF-Kameras

Licht- und Funkwellen breiten sich mit fast 300 000 000 000 mm/s aus, was ~3,3 ps für eine Welle von 1 mm (und weiteren 3,3 ps für die Rückkehr) entspricht. Das heißt, wenn Sie ein Gerät wünschen, das alle Objekte in dem Raum, in dem Sie sich befinden, abbilden kann und Sie eine Auflösung von ~ 1 mm wünschen, benötigt Ihre Zeitsteuerungselektronik eine Auflösung von Pikosekunden. Das entspricht einer Taktrate von Hunderten von GHz.

Es ist weder einfach noch wirtschaftlich, elektronische Schaltungen zu entwickeln, die bei diesen Frequenzen arbeiten, daher mussten Designer einen Weg finden, bei niedrigeren Frequenzen zu arbeiten, wenn sie hofften, die Geräte für den Verbrauchermarkt erschwinglich zu machen.

Es gibt zwei gängige Methoden, um eine Genauigkeit im Millimeterbereich zu erreichen, während mit vernünftigen Sub-GHz-Frequenzen gearbeitet wird:

• Beziehung der Phasenverschiebung einer sinusförmig modulierten Welle zur Entfernung
• Verwenden der Phasenverschiebung einer Rechteckwelle mit einem Tastverhältnis von 50 % und einer Differenzspannung zur Bestimmung der Entfernung

In den folgenden Abschnitten werden wir uns diese beiden Methoden genauer ansehen.

Bestimmung der Entfernung durch Phasenverschiebung einer amplitudenmodulierten Welle

Angenommen, Sie möchten ein kleines Büro oder ein großes Wohnzimmer mit einem maximalen Längenmaß von 15 m planen. Um eine geeignete Betriebsfrequenz für diese Länge zu bestimmen, verwenden Sie $$c=\lambda \cdot f$$ wobei c die Lichtgeschwindigkeit ist (c=3x10 ⁸ m/s), ist eine Wellenlänge (λ=15 m) und ƒ ist die Frequenz. In diesem Beispiel ist ƒ=20 MHz, was eine relativ einfach zu handhabende Frequenz ist.

Alles beginnt damit, dass die Ausgabe eines hellen Lichts mit einem 20 MHz Sinussignal moduliert wird. Die Lichtwelle erreicht schließlich ein Objekt oder die Wand und reflektiert und kehrt die Richtung um. Eine Dimmerversion des ursprünglichen modulierten Lichts kehrt zum Empfänger zurück. Sofern das Objekt nicht genau ein ganzzahliges Vielfaches von 15 Metern entfernt ist, wird die Phase um einen gewissen Betrag verschoben.

Die Phasenverschiebung kann verwendet werden, um die Entfernung zu berechnen, die die Welle zurückgelegt hat.

Wenn Sie den Phasenwinkel genau messen können, können Sie den Abstand des reflektierenden Objekts vom Sensor/Empfänger genau bestimmen.

So messen Sie den Phasenwinkel einer Sinuskurve

Wie misst man also schnell den Phasenwinkel einer Sinuskurve? Dabei wird die Amplitude des empfangenen Signals an vier gleichmäßig beabstandeten Punkten gemessen (d. h. ein Abstand von 90° oder 1/4 λ).

$$\varphi=ArcTan \left ( \frac{A_1-A_3}{A_2-A_4} \right )$$

Ich habe versucht, den Zusammenhang zwischen den Messungen und dem Phasenwinkel unten zu illustrieren. Das Verhältnis der Differenz zwischen A₁ und A₃ und der Unterschied zwischen A₂ und A₄ gleich dem Tangens des Phasenwinkels ist. ArcTan ist eigentlich die Arcustangens-Funktion mit zwei Argumenten, die geeignete Quadranten abbildet und definiert, wann A₂ =A4 und A₁>A₃ oder A₃>A₁ als 0° bzw. 180°.

Klicken Sie auf das Diagramm, um ein komplizierteres Bild zu sehen, das die Unterschiede der Variablen A₁ . veranschaulicht , A₂ , A₃ , und A₄ auf den Einheitskreis passen.

In der obigen Abbildung befinden sich ganz links im Diagramm zwei vertikale Zahlenlinien, die das Ergebnis der Subtraktion von A₁ . anzeigen und A₃ (dargestellt als dunkelgelb) und A₂ und A₄ (als blau dargestellt). Die Messwerte werden in den Sinuskurven in der Mitte als vertikale Linien dargestellt.

Beachten Sie, dass diese Grafik keine Reflexion berücksichtigt (was effektiv alles um 180° verschieben würde).

Bestimmen der Betriebsfrequenz für eine bestimmte Entfernung

Zurück zu unserem Beispiel, die Entfernung zum Ziel wird mit der Gleichung bestimmt:

$$d=\frac{c \cdot \varphi}{4 \pi \cdot f}$$

Dabei ist c die Lichtgeschwindigkeit, phi (φ) der Phasenwinkel (in Radiant) und ƒ die Modulationsfrequenz.

Die Messung der tatsächlichen Flugzeit eines Photons erfordert eine 333-GHz-Elektronik. Dieses Verfahren erfordert maximal die 4-fache Modulationsfrequenz, die in diesem Fall 4x20 MHz =80 MHz beträgt. Dies ist eine phänomenale Reduzierung der Ressourcen. Aber Sie werden froh sein zu wissen, dass einige clevere Ingenieure einen Weg gefunden haben, die maximale Frequenz noch weiter zu reduzieren.

Bestimmung der Phasenverschiebung durch Differenzspannungsmessung geladener Kondensatoren

Die nächste Messsituation beinhaltet eine stroboskopische Lichtquelle und einen CMOS-Bildsensor mit zwei Kondensatoren pro Pixel.

Eine Taktquelle erzeugt eine Rechteckwelle mit einem Tastverhältnis von 50 %, und diese Rechteckwelle steuert eine helle Stroboskop-Lichtquelle sowie die Verbindung zu den Ladungsspeicherkondensatoren in jedem Pixel.

Ein Beispiel für ein solches System ist in der folgenden Abbildung dargestellt:

Bild aus „A Fast Calibration Method for Photonic Mixer Device Solid-State Array LiDARS“ Dies zeigt ein CMOS-Pixel mit zwei Ladungsspeicherkondensatoren, die abwechselnd verbunden sind, um eingehende Signale aufzuzeichnen Licht.

Licht verlässt die Quelle, wird von einem Objekt reflektiert und trifft auf das Pixel, wo es als Ladung im Kondensator C_A . aufgezeichnet wird oder C_B oben gezeigt. Die Kondensatoren werden abwechselnd mit der gleichen Frequenz wie die Beleuchtungsquelle mit dem Pixel verbunden, wobei dieselbe Taktquelle verwendet wird.

Durch diese clevere Anordnung hängt die Differenzladung in den Kondensatoren direkt mit dem Phasenversatz zusammen. Und die Phase wird durch die Wellenlänge und die Entfernung zum Ziel und zurück bestimmt.

Bild aus „A Fast Calibration Method for Photonic Mixer Device Solid-State Array LiDARS“

Das Motiv kann für so viele Zyklen wie nötig beleuchtet werden, um die Kondensatoren zu füllen. Solange der Abstand konstant ist, bleiben die Ladungsanteile gleich

Laufzeitsensoren in Aktion

Wie gut funktioniert diese Methode? Besser als Sie vielleicht erwarten.

Der für AAC bereitgestellte Sensor kann in Kombination mit der begleitenden Software bis zu 45 fps aufzeichnen. Bei niedrigeren Bildwiederholfrequenzen kann das System leicht Falten auf einem Hemd darstellen.

Das obige Bild zeigt die (x,y,z)-Scheitelpunktposition jedes erfassten Pixels der pico-flexx-Kamera von pmd.

Nur-Tiefe-Daten sind allein schwer zu visualisieren. Daher wird das Tiefenbild oft mit einem Foto kombiniert oder mit Falschfarben dargestellt, um eine einfachere Visualisierung der Szene zu ermöglichen.

Eine Falschfarben-Tiefenüberlagerung eines Bildes mit niedriger Auflösung erleichtert die Interpretation der Szene. Bild des Goober-Autors, aufgenommen mit der Royal Viewer-Software von pmd und dem CamBoard pico flexx 3D-Entwicklungskit.

---

Time-of-Flight-Sensoren können in einer Reihe von Anwendungen eingesetzt werden, einschließlich der Erstellung einer 3D-Karte der Umgebung, wenn clevere Physik mit Ingenieurskunst kombiniert wird.

Haben Sie bei Ihrer Arbeit schon einmal 3D-Kameras verwendet? Was können Sie uns über die Designbeschränkungen bei der Verwendung von Laufzeitsensoren sagen? Teile deine Erfahrungen in den Kommentaren unten.