Künstliche Intelligenz in Autos – im Gehirn

Autonome Fahrzeuge (AVs) oder sogar Fahrzeuge mit fortschrittlichen Fahrerassistenzsystemen (ADAS) verlassen sich auf Daten von vielen Sensoren – mehreren Kameras, Lidar, Radar und manchmal sogar Sonar. Der Umgang mit den Datenströmen, die von dieser Reihe von Sensoren kommen, ist eine riesige und gleichzeitig kritische Aufgabe. All diese Daten müssen in Echtzeit in Informationen umgewandelt werden, um das Auto mindestens so sicher fahren zu können, wie wenn ein perfekter menschlicher Fahrer die Kontrolle hätte. „Auf der Straße müssen menschliche Fahrer ihre aktuelle Umgebung im Auge behalten, mit anderen Fahrern interagieren und Entscheidungen treffen. Wie menschliche Fahrer sollten auch AVs wahrnehmen, interagieren und Entscheidungen treffen. Außerdem sollten AVs eine gute Beziehung zu ihren Passagieren aufbauen.“ ¹

Diese Funktionen stützen sich auf künstliche Intelligenz (KI), um die Daten der verschiedenen Sensoren zu assimilieren und sie zu einem sofortigen Bild des Fahrzeugs und seiner dynamischen Umgebung zu kombinieren – der Prozess, der als Sensorfusion bezeichnet wird. Optimal für den automobilen Einsatz nutzt die KI Deep Neural Networks (DNNs). Nach dem Vorbild der Art und Weise, wie Informationen vom menschlichen Gehirn verarbeitet werden, lernen DNNs, wie sie die reale Welt des Fahrens durchqueren, indem sie aus Erfahrung lernen, anstatt von einem Programmierer angewiesen zu werden, was zu tun ist. Das DNN funktioniert, indem es mehrere Eingaben akzeptiert, ihnen unterschiedliche Gewichtungen zuweist und Schlussfolgerungen zieht. Es erfordert eine extrem leistungsstarke und dennoch energieeffiziente Computerplattform, um all dies in „Echtzeit“ zu tun. Dies kann durch die Verwendung eines Verarbeitungsbeschleunigers beschleunigt werden.

KI in Aktion setzen

Um zu erfahren, was zu einer leistungsstarken Plattform für KI im Automobilbereich gehört, habe ich Gil Abraham von CEVA, Inc. zu ihren Implementierungstools interviewt.

Die Vision- und KI-Geschäftseinheit von CEVA hat, wie Abraham es nannte, drei Säulen:NeuPro-M, der KI-Prozessor; SensPro, ein hochleistungsfähiger digitaler Signalprozessor (DSP) für Sensor-Hubs; und CDNN-Invite-Software. CDNN-Invite ermöglicht es Herstellern, ihre eigenen proprietären DNN-Beschleuniger einzugeben, um mit dem NeuPro-M AI-Prozessor von CEVA sowie dem SensPro DSP zusammenzuarbeiten und ein einheitliches System zu genießen, das zentral von demselben Speicher- und Durchfluss-Softwareentwicklungskit verwaltet werden kann ( SDK).

Der SensPro DSP kann eine Signalverarbeitung an Eingaben von vielen verschiedenen Sensoren durchführen, einschließlich mehrerer Lidars, Radars und Kameras, und sie falten – ein Prozess, der als Sensorfusion bezeichnet wird und die Eingaben vieler Sensoren zusammenfasst. Dies ist für den Automobileinsatz von entscheidender Bedeutung, da jeder Sensor seine eigenen Einschränkungen hat.

Zum Beispiel:

• Kameras können eine sehr hohe Auflösung haben, damit sie feine Details erkennen können. In der Regel benötigen Sie jedoch mehr als eine, um tote Winkel, Rückfahrkameras, Rundumsichtkameras und mehrere nach vorne gerichtete Kameras mit unterschiedlichen Brennweiten abzudecken. Jede Kamera liefert einen separaten Datenstrom. Außerdem kann man sich nicht darauf verlassen, dass Kameras nachts gut funktionieren oder wenn sie in die Sonne gerichtet sind.

• Radar funktioniert nachts gut und kann Entfernungsmessungen liefern. Die Auflösung ist jedoch nicht hoch genug, um die genaue Position eines Objekts zu erkennen oder zwischen mehreren nahe beieinander liegenden Objekten zu unterscheiden. Es kann stationäre oder sich langsam bewegende Objekte nicht erkennen und kann auch die „Semantik“ der Szene nicht erkennen:Farbe und Form von Objekten – dafür benötigen Sie Kameras.

• Lidar fungiert als seine eigene Lichtquelle, sodass es sowohl bei Dunkelheit als auch bei Tageslicht gut funktioniert. Es liefert auch schnelle und genaue Messdaten mit ausreichend hoher Auflösung für eine präzise Freiraumerkennung in Echtzeit, während mehrere Objekte innerhalb einer Szene verfolgt werden. Aber um genügend Lidar-Datenpunkte zu haben, müssten fünf oder sechs dieser teuren Geräte an einem Fahrzeug montiert werden.

Der SensPro DSP kann Eingaben von diesen sowie Flugzeitsensoren (ToF) und Trägheitsmesseinheiten (IMUs) entgegennehmen, Algorithmen für simultane Lokalisierung und Kartierung (SLAM) effizient verarbeiten und durch deren Verwendung ein „kontextuelles Bewusstsein“ schaffen – ein vollständiges Bild der Situation des Automobils und seines Umfelds. Sie können der Hardware auch einen dedizierten Befehlssatz hinzufügen, um bei Bedarf eine zusätzliche Beschleunigung anderer spezifischer Verarbeitungen zu erhalten.

Integration des Systems

NeuPro-M adressiert viele der wichtigsten Herausforderungen autonomer Fahrzeugfunktionen, darunter skalierbarer Betrieb mit hoher Geschwindigkeit und geringer Latenz, geringer Betriebsleistung, hoher Sicherheit und der Fähigkeit, die funktionalen Anforderungen der Norm ISO 26262 für sicherheitsbezogene elektrische/elektronische Systeme zu erfüllen in Serienstraßenfahrzeugen. Es ist auch skalierbar, sodass es beispielsweise für einzelne Sensoren oder Sensorcluster in einer Zone verwendet oder sogar als Teil der Motorsteuereinheit (ECU) des Automobils eingebettet werden kann.

Die Architektur einer leistungsstarken Automotive-KI-Plattform

Die Funktion des CEVA NeuPro-M KI-Prozessors besteht darin, Fahrentscheidungen auf hoher Ebene zu treffen. Diese Entscheidungen basieren auf den DNN-Eingaben, die Situationsinformationen bereitstellen, wie beispielsweise:Gibt es entgegenkommende Autos; bleibt das Auto in der Spur; Was ist der absolute Standort (SLAM)?

Der NeuPro-M KI-Prozessor ist der Entscheidungsträger darüber, welche Maßnahmen auf der Grundlage der erhaltenen Informationen zu ergreifen sind. KI erfordert eine enorme Anzahl von Berechnungen, um Entscheidungen zu treffen, und diese müssen nahezu in Echtzeit erfolgen. Es braucht also einen leistungsstarken Prozessor. Für Automotive-Anwendungen ist es außerdem notwendig, den Stromverbrauch zu minimieren – da die Anzahl der Berechnungen zunimmt und die Zeit für ihre Durchführung abnimmt, steigt der Stromverbrauch. Das Maß für die Leistung des Prozessors lässt sich in einer Zahl zusammenfassen:Teraoperationen pro Sekunde pro Watt (TOPS/Watt) – je höher die Zahl, desto besser die Leistung. Die Energieeffizienz des NeuPro-M beträgt 24 TOPS/Watt, was deutlich höher ist als bei den meisten anderen Automobil-KI-Prozessoren.

Sicherheit ist von größter Bedeutung – man kann sogar sagen, dass Sicherheit und Schutz die wichtigsten Anforderungen für Automobilanwendungen sind. Der KI-Prozessor in einem autonomen Fahrzeug ist der verantwortliche Fahrer. Die neuronalen Netzwerke, die die KI-Verarbeitung durchführen, weisen jeder ihrer Eingaben Gewichtungen zu, und diese Gewichtungen sind anfällig für böswillige Manipulationen. Sicherheitssysteme sind daher ein integraler Bestandteil des Prozessors, um sich vor diesen Angriffen zu schützen.

Leistungsoptimierung

Um die Leistung zu optimieren, ist es wichtig zu erkennen, dass das System unabhängig von der Geschwindigkeit des Prozessors aufgrund von Bandbreitenbeschränkungen bei der Übertragung von Informationen zum Prozessor in einen Engpass geraten kann, hauptsächlich aufgrund von Beschränkungen der Systemschnittstelle in Bezug auf den Speicher. Die Recheneinheiten arbeiten viel schneller als die Zeit, die zum Speichern und Abrufen der riesigen Datenmengen benötigt wird, um den Speicher zu informieren. Eine Möglichkeit, dies anzugehen, besteht darin, einen kontinuierlichen Datenfluss an den Prozessor zu leiten, anstatt auf genügend Informationen zu warten, um eine bestimmte Berechnung durchzuführen.

Eine andere Möglichkeit, die Leistung zu optimieren, besteht darin, adaptiv zu sein – eine modulare adaptive Topologie zu verwenden. Die Prozessortopologien können optimiert werden, um unterschiedliche Arten von Sensoren zu verarbeiten und unterschiedliche Arten von Operationen durchzuführen. Eine Funktion könnte zum Beispiel die Optimierung der Antriebsstrangeffizienz sein, was viel Mathematik erfordert, oder auf der anderen Seite könnte es nur die Verarbeitung eines einzelnen Sensors sein.

Wenn Sie etwas sehr genau berechnen müssen, können Sie in einem Vektorprozessor Gleitkommaarithmetik anstelle von Festkomma verwenden. Eine andere Möglichkeit, die Bandbreitenreduzierung anzugehen, besteht darin, die Daten zu komprimieren, sodass Sie nicht alle Daten im System verschieben müssen. Dies sind Software-Korrekturen, aber Sie müssen sich auch darum kümmern, die DSPs und den KI-Prozessor zu optimieren, indem Sie einen tiefen Tauchgang machen, um alle Engpässe in jedem dieser Bereiche zu beheben.

Parallele Verarbeitung

Der NeuPro-M (NPM)-Prozessor besteht aus drei Teilen (siehe Abbildung 2):Der Master-Controller; das gemeinsame NPM-Subsystem; und der NPM-Motor. Der Prozessor kann zwischen einer und acht Engines enthalten, die ausgewählt werden können, um die Anforderungen einer bestimmten Anwendung zu erfüllen. Der Prozessorbetrieb kann skaliert werden, indem die Anzahl der Engines gewählt wird. „So bekommt man immer mehr Pferdestärken“, sagte Abraham.

Das gemeinsame NPM-Subsystem steht in ständiger Kommunikation mit der NPM-Engine. Dieser Kanal wird überwacht, um sicherzustellen, dass er nicht zu einem Engpass wird – um sicherzustellen, dass die Daten weiterhin in das System fließen. Die Schlussfolgerungs-KI läuft mit zwei Datensätzen:den Daten selbst, vielleicht einem Bild; und die Gewichtung, die auf die Daten angewendet wird, um die Inferenz durchzuführen. Das gemeinsame Subsystem hält den Kanal offen, indem sowohl die Daten als auch die Gewichtungen komprimiert werden.

Die parallele Verarbeitung kann sowohl durch die Verwendung mehrerer Engines als auch durch die Verwendung der Coprozessoren innerhalb der Engines implementiert werden, von denen jede fünf Coprozessoren und einen gemeinsam genutzten internen Speicher enthält.

Beispiel – Steuern eines Fahrzeugs mit einem viermotorigen NPM

Bild 3 zeigt eine einfache Automobilanwendung der Parallelverarbeitung. Die linke Seite der Abbildung zeigt ein Bild der Straße, das von einer nach vorne gerichteten Kamera erfasst wird. Ein Prozessor im Fahrzeug blockiert die Gegenfahrbahn, um die Berechnungen zu vereinfachen, die erforderlich sind, um das Fahrzeug auf seiner Straßenseite zentriert zu halten, und speichert das Bild im Speicher. Das gespeicherte Bild wird aus dem Fahrzeugspeicher in das gemeinsame NPM-Untersystem eingegeben, das in diesem Beispiel vier Motoren bedient. Die Software entscheidet dann, was der Anwendungsfall ist – was benötigt wird – und wie das Bild aufgeteilt wird, um maximale Leistung bei minimalem Stromverbrauch (hohe Auslastung) für die gewünschte Funktion zu erreichen. In diesem Fall teilt der NPM das Bild mit einigen Überlappungen in vier Teile, und jeder Teil wird an eine andere Engine gesendet. Die KI-Inferenz wird dann auf jedem der vier Straßenabschnitte ausgeführt. Die vier Segmente werden dann wieder in den Speicher des Subsystems zusammengefügt, von wo aus sie an anderer Stelle im SoC an die Wahrnehmungsschicht ausgegeben werden, um die gewünschten Aufgaben auszuführen.

Dieses Beispiel veranschaulicht die zwei Ebenen der parallelen Verarbeitung, eine durch Verwendung der vier Engines, um an verschiedenen Segmenten des Bildes zu arbeiten, und innerhalb jeder Engine die parallele Verarbeitung, indem die Berechnungen von den fünf internen Coprozessoren geteilt werden.

Optimierung über Software

KI funktioniert hauptsächlich durch Faltung, eine mathematische Operation mit zwei Funktionen, die eine dritte Funktion erzeugt, die ausdrückt, wie die Form der einen durch die andere modifiziert wird. Der Mathematiker Shmuel Winograd entwickelte eine neue Methode zur Faltung in der Hälfte der üblichen Anzahl von Schritten. CEVA hat diese theoretische Idee in seinen Prozessoren implementiert, um die gleiche Präzision zu erreichen, die mit normaler Faltung erreicht worden wäre, aber mit einer fast 2-fachen Beschleunigung – ein Leistungsgewinn bei geringerer Leistung. Dies kann in jedem der fünf Coprozessoren innerhalb der Engine erfolgen.

Ein weiterer Trick besteht darin, mit verschiedenen Datentypen unterschiedlich zu arbeiten, je nachdem, welche für eine bestimmte Anwendung optimal wären. Simultanes Lokalisieren und Mapping (SLAM) beispielsweise erfordert eine sehr hohe Genauigkeit, sodass Sie Gleitkommaarithmetik verwenden müssen. Für andere Anwendungen wäre eine feste Anzahl von Bits perfekt. Auf diese Weise kann der Automobilhersteller die Berechnungsmethode wählen, die für jede Funktion innerhalb des Fahrzeugs am besten geeignet ist.

Indem Sie sowohl Software-Manipulation als auch Hardware-Optimierung verwenden, können Sie eine signifikante Beschleunigung erreichen – bis zu 16x mit NeuPro-M laut Abraham.

Zusammenfassend

Dies war ein Überblick über die interne Funktionsweise eines bestimmten KI-Prozessors, der die Daten einer Vielzahl von Sensoren – Radar, Lidar, Sonar, Kameras – verarbeitet und Entscheidungen trifft. Der NPM ist ein heterogener Prozessor – er kann mit verschiedenen Datentypen arbeiten und seinen Betrieb, gemessen in TOPS/Watt, optimieren, indem er zwei parallele Verarbeitungsebenen sowie ein gezieltes Design der Software verwendet.

1. Fang Chen, PhD, SAE Edge-Forschungsbericht – Ungeklärte Probleme in der Fahrzeugautonomie, der künstlichen Intelligenz und der Mensch-Maschine-Interaktion.

Dieser Artikel wurde von Ed Brown, Herausgeber von Sensor Technology, verfasst. Wenden Sie sich für weitere Informationen an Ed unter Diese E-Mail-Adresse ist vor Spambots geschützt! JavaScript muss aktiviert werden, damit sie angezeigt werden kann. oder besuchen Sie hier .