Wie Sensorsysteme die Funktionalität von ADAS antreiben

Um die neuesten Informationen über Sensoren für automatisierte Fahrsysteme zu erhalten, interviewte ich Alberto Marinoni, Director of Product Marketing, TDK/Invensense (San Jose, CA).

Der gängige Begriff Advanced Driver Assistance Systems (ADAS) bezieht sich im Wesentlichen auf SAE Level 2 (L2), Teilautomatisiertes Fahren. Auf diesem Level muss der Fahrer im Auto sein und wachsam – er kann beispielsweise nicht lesen – das würde Level 3 oder höher erfordern. (Das höchste Level – 5 – ist ein vollautomatisiertes Fahrzeug, das nicht einmal einen von uns Menschen im Fahrzeug benötigt.)

In Level 2 kann das Auto longitudinal (Beschleunigung/Verzögerung) oder lateral (Lenkung) automatisch gesteuert werden, je nach Anwendung. Der Fahrer muss jedoch anwesend sein, Augen auf der Straße halten und wachsam sein, um bei Bedarf die Kontrolle zu übernehmen. Im Gegensatz dazu kann Level 1 automatisches Bremsen/Beschleunigen ODER laterales Lenken, aber nicht beides.

Für L2 gibt es mehrere Sensoren, einschließlich Kameras, Radar und Inertiale Messeinheiten (IMUs). Ein globales Navigationssatellitensystem (GNSS), wie GPS, ist ebenfalls enthalten.

Für bestimmte L2-Anwendungen, obwohl nicht die Mehrheit, ist LiDAR auch verfügbar, obwohl das hauptsächlich für Level 3 ist. Es ist nicht immer in L2 enthalten wegen seines hohen Preises relativ zu anderen Technologien. Marinoni erklärte, dass Radar ein Langstreckendetektor ist – sein Einsatz ist Hinderniserkennung auf Distanz – um das Auto zu warnen, dass etwas vor ihm vorhanden ist. LiDAR fügt der Automatisierungsmischung hinzu, indem es Objekte in Detail in der Nähe des Autos erkennt. Es kann auch die Umgebung scannen, um Informationen über die unmittelbare Umgebung zu erhalten. Diese Information kann georeferenziert bezüglich der Erde werden, um die absolute Position des Autos zu bestimmen, indem ein inertiales Navigationssystem (INS) aus IMU und GNSS genutzt wird. Eine 3D-Karte kann erstellt werden, um Objekte präzise zu lokalisieren, indem absolute Positionsinformationen vom INS und das Bild der relativen Umgebung basierend auf LiDAR kombiniert werden.

Inertiale Messeinheit (IMU)

Die TDK/InvenSense IMU hat zwei MEMS-Komponenten im selben Gehäuse: einen 3-Achsen-Beschleunigungsmesser und ein 3-Achsen-Gyroskop. Der Beschleunigungsmesser ist empfindlich für sowohl statische (z. B. Schwerkraft) als auch dynamische Beschleunigungen in allen drei Achsen und kann zur Bestimmung des Neigungswinkels der IMU genutzt werden. Das Gyroskop wird hauptsächlich für dynamische Bedingungen genutzt, in denen Winkelgeschwindigkeit zusätzlich zur Schwerkraft vorliegt. Die Ausgänge dieser beiden Sensoren werden mathematisch kombiniert, um die Orientierung des Systems zu bestimmen.

Der allgemeine Trend heute ist, eine IMU neben jedem Sensor zu platzieren, um die Detektionsgenauigkeit zu erhöhen.

Beschleunigung/Verzögerung

Laut Marinoni sind die wichtigsten Verzögerungsfunktionen Notbremsung und Kollisionsvermeidung. Für diese Anwendungen scannen Sensoren wie Radar die Front des Autos, suchen nach einem Objekt oder einer Person. Die Scandaten werden an eine zentrale Verarbeitungseinheit gesendet, die entscheiden kann, ob das Fahrzeug zum Stillstand kommen muss. Falls ja, gibt sie ein Signal an Aktoren aus, die genauso agieren wie ein Fahrer, indem sie das Bremspedal drücken, um das Auto vor einem Crash zu stoppen.

Die IMU spielt hier eine wichtige Rolle. Der Radarsensor ist typischerweise in der Stoßstange des Fahrzeugs montiert und kann perfekt arbeiten, wenn er parallel zur Straße ist. Wenn jedoch aus irgendeinem Grund die Stoßstange deformiert wurde, werden die Radarinformationen unzuverlässig. Eine IMU, die neben dem Radarsensor montiert ist, kann den Neigungswinkel dynamisch überwachen und Korrekturinformationen liefern. Dasselbe Konzept wird auf Kameramodule angewendet.

Lenkung

In heutigen Fahrzeugen gibt es mehrere Kameras, 10 oder mehr, für ADAS. Da es jedoch viel Vibration beim Fahren gibt, kann das von der Kameramodul aufgenommene Bild unscharf sein. Wenn man eine IMU nah an jede Kamera platziert, kann man die Vibration, die im exakten Moment der Bildaufnahme auf die Kamera einwirkt, leicht messen. Mit dieser Information kann man das Bild stabilisieren und das Rauschen für eine klare Sicht bereinigen.

Eine typische kamerabasierte Anwendung ist aktiver Spurhalteassistent. Dafür befindet sich usually eine Kamera in der Nähe des Rückspiegels, die genutzt wird, um Fahrbahnmarkierungen zu detektieren und Bildverarbeitung durchzuführen. Die Bildqualität ist für diese Anwendung wichtig, weil man die Linie erkennen und ob das Auto sie überquert. Durch Montieren einer IMU neben der Kamera zur Stabilisierung produziert man ein klareres Bild, was die rechnerische Last auf dem Zentralprozessor reduziert. Für einige Spurhalteanwendungen wird der Fahrer alarmiert, damit er die Lenkung übernehmen kann, um auf Kurs zu bleiben. Es gibt andere Anwendungen, in denen diese Information vom Auto genutzt wird, um die Lenkung direkt zu steuern, um automatisch in der Spur zu bleiben.

Sensor Fusion

Ich fragte Marinoni dann nach der Rolle von Sensor Fusion in ADAS. Er erklärte, dass es ein Algorithmus ist, der in der Lage ist, Informationen von mehreren Sensoren zu kombinieren, um einen Output zu liefern, der besser ist als die Summe jedes einzelnen Sensors.

Ein Beispiel wäre ein INS, in dem ein GNSS Informationen von einem Satelliten empfängt, um die absolute Position des Fahrzeugs zu bestimmen. Es gibt jedoch Bedingungen, unter denen GNSS-Informationen nicht zuverlässig sind, zum Beispiel in einem Tunnel, in urbanen Canyons oder in einem mehrstöckigen Parkhaus. Man würde daher eine IMU nah am GNSS benötigen, um die Position des Systems zu berechnen, wenn das GNSS nicht verfügbar ist. Ein Sensor-Fusion-Algorithmus, der im GNSS-Modul läuft, würde die Informationen von IMU und GNSS kombinieren, um eine Position zu generieren, die unter allen Bedingungen zuverlässig ist. Dies optimiert das System, weil IMU und GNSS sich aufgrund ihrer jeweiligen Stärken und Schwächen ergänzen. Der Fusionsalgorithmus behält die Informationen von der IMU, wenn das GNSS nicht zuverlässig ist, und nutzt die Informationen vom GNSS-System, wenn das Auto in einer Open-Sky-Bedingung ist. Wenn ein gutes GNSS-Signal vorliegt, ermöglicht der Fusionsalgorithmus auch, dass die GNSS-Daten die IMU für die Zeiten kalibrieren, in denen das GNSS nicht verfügbar ist.

Dead Reckoning

Wenn das GNSS-Signal nicht verfügbar ist, navigiert die IMU mit Dead Reckoning, indem sie von der absoluten letzten Position startet, die sie empfangen hat. An diesem Punkt beginnt sie, die Gyroskopinformationen über die Zeit zu integrieren, um die Position zu aktualisieren. Wenn gute Gyroskopinformationen und gutes Timing vorliegen, hat man gute Ergebnisse. Wenn jedoch die Gyroskopausgabe gut, aber das Timing nicht gut ist, hat man schlechte Ergebnisse. Wenn beide schlecht sind, hat man komplett schlechte Ergebnisse. Da man integriert, akkumuliert sich der Fehler, und nach einer gewissen Zeit sind Dead-Reckoning-Ergebnisse möglicherweise nicht mehr akzeptabel.

Wenn man durch einen Tunnel oder in einer Stadt fährt, wo das GNSS-Signal lange genug schlecht ist, wäre Dead Reckoning basierend auf der IMU nicht zuverlässig. Unter diesen Bedingungen liegt es am Fahrzeughersteller. Sie könnten einen Fahreralarm initiieren; wenn der Fahrer nicht auf den Alarm reagiert, könnte ein zweiter Alarm generiert werden. Wenn dieser auch ignoriert wird, könnte das ADAS die Kontrolle übernehmen und die Geschwindigkeit verringern – aber nicht das Auto anhalten, was gefährlich wäre. Eine zusätzliche Aktion könnte sein, einen Anruf zu generieren, z. B. an OnStar, um zu prüfen, ob der Fahrer sicher ist. Es gibt mehrere Wege, die Situation zu managen.

Zuverlässigkeit des ADAS-Systems

Die Zuverlässigkeit des ADAS-Systems selbst ist offensichtlich kritisch. Datenintegrität muss unter allen Bedingungen garantiert sein. Laut Marinoni beinhalten die TDK/Invensense 6-Achsen-IMUs für ADAS eine eingebettete Diagnostik, die für Systeme entwickelt wurde, die Anforderungen bis zu Automotive Safety Integrity (ASIL) Level B erfüllen. Wenn die Kommunikation mit der Zentraleinheit nicht zuverlässig ist, kann es z. B. einen Alarm generieren, um den Fahrer zu warnen. Der eingebettete Sicherheitschip umfasst einen Mechanismus, der kontinuierlich die Funktionalität aller Blöcke des Systems überprüft. Wenn die Komponente einen Defekt im Beschleunigungsmesser, Gyroskop, digitaler Logik oder im Kommunikationsbus detektiert, sendet sie einen Alarm an das System, der ihm mitteilt, dass etwas schiefgelaufen ist und die Informationen vom Sensor nicht mehr zuverlässig sind. Selbstdiagnose ist in automobilen Sicherheitsanwendungen obligatorisch, besonders wenn man Geschwindigkeit, Bremsen oder Lenkung steuert. Diese Probleme werden in der ASIL-Spezifikation adressiert. Aber selbst wenn es nicht für eine Level-2-Anwendung ist, muss ein System wie elektronische Stabilitätskontrolle auch 100 % zuverlässig sein.

Wo stehen wir und wohin geht es?

Ich fragte Marinoni, wo er diese Technologie jetzt sieht und was in der Zukunft zu erwarten ist. „In diesem Moment ist Level 2 Realität – es ist bereits auf der Straße“, sagte er. „Aber es ramped gerade hoch, in dem Sinne, dass wir erwarten, dass die IMU-Volumina von jetzt bis 2030 steigen, von weniger als 10 Millionen Fahrzeugen auf mehr als 40 Millionen.“ Für den nächsten Schritt, Level 3, wird die Hauptänderung wahrscheinlich die Einführung neuer Technologien wie LiDAR sein. „Aus der Sicht unserer IMU sind wir bereits für L3-Anwendungen gerüstet, dank unserer 6-Achsen-Integration“, sagte er.

Er fügte hinzu, dass der nächste Innovationspunkt in diesem Bereich die Reduzierung des Energieverbrauchs sein könnte. Einige ADAS-Anwendungen müssen sogar dann eingeschaltet sein, wenn der Motor aus ist. Aus diesem Grund zählt der Energieverbrauch jedes Komponenten in der Anwendung. In der Vergangenheit, als Anwendungen nur liefen, wenn der Motor an war, war das kein Problem. Aber jetzt ändern Hersteller ihre Spezifikationen, um Energieverbrauch einzuschließen.

Und last but not least, da Dead-Reckoning-Integration durch akkumulierten Fehler über die Zeit beeinflusst wird, ist der andere wichtige Punkt, besonders bei selbstfahrenden Autos, das Rauschen der Komponente weiter zu reduzieren, um die Sensorleistung zu verbessern, längere Dead-Reckoning-Integration zu implementieren und den Gesamtfehler unter Kontrolle zu halten.

Ich fragte Marinoni als Nächstes, wann er dachte, Level 3 auf die Straßen kommen könnte. Seine Vermutung ist, dass wir nicht viel Bewegung im L3-Markt vor 2025 sehen werden.

„Ein weiteres wichtiges Thema, obwohl nicht theoriebasiert – es ist mehr eine Faustregel – ist, dass für L2-Systeme zwei parallele Technologien genug sind. Für L3-Systeme, um Genauigkeit, Stabilität und Leistung zu garantieren, müssen Sie mindestens drei Technologien kombinieren, und höchstwahrscheinlich für L4 vier. Das sollte Ihnen ein Gefühl für die Komplexität geben, Leistung und Sicherheit zu garantieren“, sagte er. Das wird größere Anforderungen an die erforderlichen Algorithmen und Computerressourcen stellen. Da kommt 5G wahrscheinlich ins Spiel, um viel der Berechnung in die Cloud zu verlagern. Natürlich öffnet das die Tür für mögliches Hacking.

Dieser Artikel wurde verfasst von Ed Brown, Editor of Sensor Technology. Für weitere Informationen besuchen Sie hier.