Das Gehirn autonomer Autos: Wie KI moderne Fahrzeuge steuert

Autonome Fahrzeuge (AVs) – oder Fahrzeuge mit fortschrittlichen Fahrerassistenzsystemen (ADAS) – verlassen sich auf Daten zahlreicher Sensoren: mehrere Kameras, LiDAR, Radar, manchmal Sonar. Die Bewältigung dieser Datenströme ist eine enorme und zugleich kritische Aufgabe. Alle Daten müssen in Echtzeit in Information umgewandelt werden, um das Auto mindestens so sicher zu steuern wie ein perfekter menschlicher Fahrer. „Auf der Straße müssen menschliche Fahrer ihre Umgebung im Blick behalten, mit anderen Fahrern interagieren und Entscheidungen treffen. Wie menschliche Fahrer sollten AVs wahrnehmen, interagieren und entscheiden. Zudem sollten AVs eine gute Beziehung zu ihren Passagieren aufbauen.“¹

Sensor Fusion via Deep Neural Networks

Diese Funktionen basieren auf künstlicher Intelligenz (KI), die Daten der verschiedenen Sensoren assimiliert und zu einem augenblicklichen Bild von Fahrzeug und dynamischer Umgebung kombiniert – der Prozess heißt Sensor Fusion. Optimal für Automobilanwendungen nutzt die KI Deep Neural Networks (DNNs). Nach dem Vorbild menschlicher Informationsverarbeitung lernen DNNs, die reale Fahrwelt durch Erfahrung zu meistern, nicht durch programmierte Regeln. Das DNN akzeptiert multiple Inputs, gewichtet sie unterschiedlich und zieht Schlüsse. Es erfordert eine extrem leistungsstarke, aber energieeffiziente Rechenplattform, um dies in „Echtzeit“ zu leisten. Dies kann durch einen Prozessor-Beschleuniger beschleunigt werden.

CEVA-Architektur: Drei Säulen für Automotive KI

Um zu erfahren, was in eine hochleistende Plattform für Automotive-KI gehört, interviewte ich Gil Abraham von CEVA, Inc. über deren Implementierungstools.

CEVAs Vision- und KI-Business-Unit hat drei Säulen: NeuPro-M (KI-Prozessor), SensPro (hochleistender Sensor-Hub-DSP) und CDNN-Invite-Software. CDNN-Invite erlaubt Herstellern, eigene proprietäre DNN-Beschleuniger mit CEVAs NeuPro-M KI-Prozessor und SensPro DSP zusammenarbeiten zu lassen und ein vereinheitlichtes System zu genießen, das zentral über denselben Speicher und Flow Software Development Kit (SDK) verwaltet wird.

Der SensPro DSP kann Signalverarbeitung auf Inputs vieler Sensoren durchführen – multiple LiDARs, Radare, Kameras – und diese konvolvieren: Sensor Fusion, die Eingaben vieler Sensoren zusammenführt. Kritisch für Automotive, da jeder Sensor eigene Limitationen hat:

• Kameras: Sehr hohe Auflösung, feine Details. Aber: Mehrere nötig für Blinde Flecken, Rückblick, Rundumsicht, mehrere Frontkameras mit verschiedenen Brennweiten. Jede liefert separaten Datenstrom. Nachts oder bei Gegenlicht unzuverlässig.
• Radar: Funktioniert nachts gut, liefert Distanzmessungen. Aber: Nicht hohe genug Auflösung für präzise Objektlokalisierung oder Unterscheidung naher Objekte. Versagt bei stationären/langsamen Objekten. Keine „Semantik“ der Szene: Farbe, Form – dafür Kameras nötig.
• LiDAR: Eigene Lichtquelle, funktioniert bei Dunkelheit und Tageslicht. Schnelle, präzise Messdaten mit hoher Auflösung für Echtzeit-Freiraumdetektion und Multi-Objekt-Tracking. Aber: 5-6 teure Geräte nötig für genug Datenpunkte.

Der SensPro DSP nimmt Inputs von diesen sowie Time-of-Flight (ToF)-Sensoren, IMUs, verarbeitet Algorithmen für Simultaneous Localization and Mapping (SLAM) und schafft „kontextuelles Bewusstsein“ – ein vollständiges Bild der Fahrzeugsituation und Umgebung. Dedizierte Instruktionssets in Hardware können zusätzliche Beschleunigung spezifischer Verarbeitung geben.

NeuPro-M: KI-Entscheider mit 24 TOPS/Watt

NeuPro-M adressiert zentrale Herausforderungen autonomer Fahrzeugfunktionen: hohe Geschwindigkeit, niedrige Latenz, skalierbarer Betrieb, niedriger Energieverbrauch, hohe Sicherheit, Erfüllung funktionaler Anforderungen von ISO 26262 für sicherheitsrelevante E/E-Systeme in Serienfahrzeugen. Skalierbar: Einzelsensoren, Sensorkluster in Zone, oder eingebettet in Motorsteuergerät (ECU).

Architektur: Master Controller, Common Subsystem, Engines

Die Funktion des CEVA NeuPro-M KI-Prozessors: hochrangige Fahrentscheidungen treffen. Basierend auf DNN-Inputs mit Situationsinformationen: Gegenverkehr? Spurhaltung? Absoluter Standort (SLAM)?

Der NeuPro-M ist der Entscheider für Aktionen basierend auf empfangenen Infos. KI erfordert massive Berechnungen für Entscheidungen, nahe Echtzeit. Leistungsstarker Prozessor nötig. Für Automotive: Energieverbrauch minimieren – je mehr Berechnungen, desto weniger Zeit, desto mehr Leistung. Maßstab: Tera Operations Per Second Per Watt (TOPS/Watt) – höher = besser. NeuPro-M: 24 TOPS/Watt – signifikant höher als die meisten anderen Automotive-KI-Prozessoren.

Sicherheit oberste Priorität – Sicherheit und Safety sind wichtigste Anforderungen. Der KI-Prozessor im autonomen Fahrzeug ist der verantwortliche Fahrer. Neuronale Netze gewichten Inputs – diese Gewichte sind anfällig für böswillige Manipulation. Sicherheitssysteme sind integraler Prozessorbestandteil zum Schutz vor Angriffen.

Performance-Optimierung: Bandbreite, Adaptive Topologie, Kompression

Unabhängig von Prozessorgeschwindigkeit: Systemengpass durch Bandbreitenlimitierungen beim Datentransport zum Prozessor, primär durch Systeminterface-Limitationen beim Speicher. Recheneinheiten arbeiten viel schneller als Speicherzugriff. Lösung: Kontinuierlicher Datenfluss zum Prozessor statt Warten auf genug Daten für Berechnung.

Adaptiv sein: Modulare adaptive Topologie. Prozessor-Topologien optimierbar für verschiedene Sensortypen und Operationen. Beispiel: Antriebsstrang-Effizienzoptimierung (viel Mathematik) vs. Einzelsensorverarbeitung.

Für hohe Genauigkeit: Floating-Point-Arithmetik statt Fixed-Point im Vektorprozessor. Bandbreitenreduktion durch Datenkompression – nicht alle Daten im System bewegen. Software-Fixes, aber auch DSP- und KI-Prozessor-Optimierung durch Deep-Dive in alle Engpässe.

Parallele Verarbeitung: Zwei Ebenen

NeuPro-M (NPM) hat drei Teile (Abb. 2): Master Controller, NPM Common Subsystem, NPM Engine. 1 bis 8 Engines wählbar für Anwendung. „So bekommt man mehr Horsepower“, sagt Abraham.

Common Subsystem in ständiger Kommunikation mit Engine – Kanal überwacht, um Engpässe zu vermeiden. Inferenz-KI läuft mit zwei Datensätzen: Daten (z. B. Bild) und Gewichte (auf Daten angewendet für Inferenz). Common Subsystem hält Kanal offen durch Kompression von Daten und Gewichten.

Parallele Verarbeitung auf zwei Ebenen: Mehrere Engines UND Co-Prozessoren innerhalb der Engines (je 5 Co-Prozessoren + Shared Internal Memory).

Beispiel: 4-Engine NPM für Spurhaltung

Abb. 3 illustriert simples Automotive-Beispiel. Links: Straßenbild von Frontkamera. Fahrzeugprozessor blendet Gegenfahrspur aus, vereinfacht Berechnung für Spurzentrierung, speichert Bild. Gespeichertes Bild aus Fahrzeugspeicher zu NPM Common Subsystem (4 Engines). Software entscheidet Use Case, teilt Bild für Maximalperformance bei Minimalpower (hohe Auslastung). NPM teilt Bild in 4 Teile mit Überlappung, jeder Teil an andere Engine. KI-Inferenz auf jedem Segment. 4 Segmente zurückgestitcht in Subsystem-Memory, Output zu Perception Layer im SoC für gewünschte Tasks.

Beispiel zeigt zwei Parallelisierungsebenen: 4 Engines für verschiedene Bildsegmente, innerhalb jeder Engine Parallelisierung über 5 interne Co-Prozessoren.

Software-Optimierung: Winograd-Convolution & Datentyp-Anpassung

KI funktioniert hauptsächlich durch Convolution – mathematische Operation an zwei Funktionen, die dritte Funktion erzeugt, wie Form einer durch andere modifiziert wird. Mathematiker Shmuel Winograd innovierte Convolution in halber Schrittzahl. CEVA implementierte dies für gleiche Precision bei ~2x Beschleunigung – Performancegewinn bei Leistungsreduktion. In jedem der 5 Co-Prozessoren pro Engine machbar.

Weitere Optimierung: Unterschiedliche Operation auf verschiedenen Datentypen, je nach Optimalität für Anwendung. SLAM braucht hohe Genauigkeit → Floating Point. Andere: Fixed-Point ausreichend. Hersteller wählt Rechenmethode pro Fahrzeugfunktion.

Kombination Software-Manipulation + Hardware-Optimierung: bis zu 16x Beschleunigung mit NeuPro-M laut Abraham.

Zusammenfassung

Überblick über interne Funktion eines KI-Prozessors, der Daten von Radar, LiDAR, Sonar, Kameras verarbeitet und Entscheidungen trifft. NPM ist heterogener Prozessor – operiert auf verschiedenen Datentypen, optimiert TOPS/Watt durch zwei Parallelisierungsebenen und gezieltes Software-Design.

Verfasst von Ed Brown, Editor Sensor Technology. Kontakt: ed.brown@techbriefs.com oder hier.