TUM KI-System sagt Selbstfahr-Auto-Ausfälle bis zu 7 Sekunden vorher voraus

Ein neues Modell für selbstfahrende Autos lernt aus vergangenen Fehlern, indem es diese vorhersieht – manchmal bis zu 7 Sekunden im Voraus.

Bei autonomen Fahrzeugen kann eine unbekannte oder komplexe Fahrsituation (wie ein belebter Kreuzung) zu einer Deaktivierung des Selbstfahrsystems führen, entweder durch automatische Sicherheitsmaßnahmen oder menschlichen Eingriff.

Ein KI-Modell der Technischen Universität München (TUM) nutzt Tausende realer Verkehrssituationen – speziell aufgezeichnete Deaktivierungssequenzen von Testfahrten – als Trainingsdaten, um zukünftige Ausfälle vorherzusagen.

Funktionsweise

Um Ausfälle so früh wie möglich vorherzusagen, klassifiziert der Machine-Learning-Ansatz Sequenzen von Sensordaten als entweder Ausfall oder Erfolg.

Erkennt das System eine neue Fahrsituation, die das Steuerungssystem zuvor nicht bewältigen konnte, wird der Fahrer vorab vor einer möglichen kritischen Situation gewarnt.

Die TUM-entwickelte Sicherheitstechnologie nutzt Sensoren und Kameras, um Umgebungsbedingungen zu erfassen: Lenkwinkel, Straßenverhältnisse, Wetter, Sicht, Geschwindigkeit. Das KI-System, basierend auf einem rekurrenten neuronalen Netz (RNN) und Tausenden realer Verkehrssituationen, lernt, Muster in den Daten zu erkennen.

Das Auto selbst wird als Black Box behandelt, fokussiert nur auf Dateneingabe und -ausgabe. Das System lernt introspektiv aus eigenen vorherigen Fehlern, so das Münchner Team.

„Der große Vorteil unserer Technologie: Wir ignorieren komplett, was das Auto denkt. Stattdessen beschränken wir uns auf die Daten basierend auf dem, was tatsächlich passiert, und suchen nach Mustern“, sagte Leitforscher Prof. Eckehard Steinbach, der auch Mitglied des Board of Directors der Munich School of Robotics and Machine Intelligence (MSRM) an der TUM ist. „So entdeckt die KI potenziell kritische Situationen, die Modelle möglicherweise nicht erkennen können oder noch nicht entdeckt haben.“

Das System bietet eine Sicherheitsfunktion, die weiß, wann und wo die Autos Schwächen haben, so Steinbach.

Modellfusion

Steinbach und sein Team kombinieren zwei Sensormodelle. Ein bildbasiertes Modell lernt, generell herausfordernde Situationen zu erkennen, wie eine belebte Stadtstraße. Ein zusätzliches datenbasiertes Modell detektiert schnelle Änderungen unmittelbar vor einem Ausfall, wie abruptes Bremsen oder Ausweichen. Das Ergebnis der einzelnen Modelle wird durch Mittelung der individuellen Ausfallwahrscheinlichkeiten fusioniert.

Die BMW Group evaluierte den „introspektiven Ausfallvorhersageansatz“ durch 14 Stunden autonomes Fahren auf öffentlichen Straßen, analysierte rund 2.500 Situationen, in denen der Fahrer eingreifen musste.

Laut einer im Dezember 2020 veröffentlichten Studie ermöglicht der Late-Fusion-Ansatz die Vorhersage von Ausfällen mit besser als 85 % Genauigkeit – bis zu sieben Sekunden vorher, bei einer False-Positive-Rate von 20 %.

Interview mit Prof. Eckehard Steinbach

Tech Briefs: Ich finde die Idee interessant: „Wir ignorieren komplett, was das Auto denkt. Stattdessen beschränken wir uns auf die Daten basierend auf dem, was tatsächlich passiert, und suchen nach Mustern.“ Was sind Beispiele für Muster, die ein Modell nicht erkennen mag?

Prof. Eckehard Steinbach: In unserer Arbeit betrachten wir den Zustand des Autos, wie Bremsen und Lenken, sowie die Kamerabilder, die das Auto erhält, um Muster zu detektieren, die zu Deaktivierungen führen. Während dies unserem Modell erlaubt, einen großen Prozentsatz von Situationen zu detektieren, in denen ein Mensch übernehmen muss, werden nicht alle Informationen über eine Fahrszene in diesen Daten erfasst.

Als einfaches Beispiel: Ein Muster wiederholten Bremsens könnte normales Fahren bei warmem Wetter sein, aber einen drohenden Ausfall anzeigen, wenn die Straßen vereist und rutschig sind. Wenn die Kamerabilder diese Information über die Umgebung nicht erfassen, kann dieses Muster nicht genutzt werden, um zwischen normalem und gestörtem Fahren zu unterscheiden. Während Kamerainformationen usually ausreichen, um Straßenverhältnisse zu beurteilen, können solche Muster trotzdem schwer zu erkennen sein.

Tech Briefs: Warum ist es ein Vorteil, „zu ignorieren, was das Auto denkt?“

Prof. Eckehard Steinbach: Wenn das Auto eine Situation vollständig richtig einschätzt, gäbe es keinen Bedarf für den Fahrer einzugreifen. Überconfidence ist jedoch eine signifikante Herausforderung vieler Modelle im autonomen Fahren. Indem wir diese Situationen aufzeichnen und daraus lernen, können wir lernen, zu detektieren, ob eine neue Situation problematisch ist, selbst wenn das Auto überconfident darüber ist.

Zusätzlich erlaubt das Beobachten von Musterssequenzen über Zustand und Umgebung des Autos unserem Modell, effektiv in die Zukunft zu extrapolieren, um Deaktivierungen bis zu sieben Sekunden im Voraus vorherzusagen. Dieser frühen Zeitpunkt, die Einschätzung der Szene durch das Auto könnte noch vollständig korrekt sein, was bedeutet, es könnte nicht genutzt werden, um das herausfordernde Szenario vorherzusagen. Die rohen gesammelten Daten hingegen könnten bereits Muster enthalten, die zuvor zu Fehlern führten und daher erlauben, Deaktivierungen im Voraus vorherzusagen.

Tech Briefs: Wie kann das System ein „kritisches“ Szenario sieben Sekunden im Voraus bestimmen? Was passiert dann bei Detektion? Was sieht der Fahrer im Auto, und was tut das Auto?

Prof. Eckehard Steinbach: Der Schlüssel ist, Datensequenzen zu beobachten und nach zeitlichen Mustern zu suchen. Indem wir die vergangenen drei Sekunden aufgezeichneter Daten betrachten, kann unser Modell Muster detektieren, die sich schließlich zu einem Szenario entwickeln, in dem der menschliche Fahrer die Kontrolle übernehmen muss. Wenn man weiß, wonach man suchen muss, kann man erste Anzeichen herausfordernder Situationen viele Sekunden im Voraus erkennen.

Unsere Methode erreicht dies in rund 85 % der Fälle sieben Sekunden im Voraus. Die verbleibenden 15 % der Situationen lassen sich dadurch erklären, dass einige herausfordernde Szenarien sich sehr schnell entwickeln, wie Fußgänger, die plötzlich zwischen parkenden Autos auftauchen und sich der Straße nähern. Bei Detektion muss der Fahrer alarmiert werden.

Tech Briefs: Wie wird der Fahrer alarmiert?

Prof. Eckehard Steinbach: Die Implementierung dieses Alarms hängt von der spezifischen Wahl der Mensch-Maschine-Schnittstelle ab, aber der Fahrer muss wissen, dass seine Kontrolle über das Auto innerhalb der nächsten sieben Sekunden erforderlich sein wird. Diese Zeit erlaubt auch dem Auto, ein sicheres Stopmanöver zu planen, falls der menschliche Fahrer nicht auf die Aufforderung reagiert.

Tech Briefs: Wie verlief Ihre Testfahrt? Was war die beeindruckendste Detektion, die Sie sahen?

Prof. Eckehard Steinbach: Da die Testfahrten von der BMW Group durchgeführt wurden, nahm ich nicht im Auto teil. Unser Team arbeitete später mit den Aufzeichnungen der Fahrten. Das beeindruckendste Element des Detektionssystems ist, wie früh die Vorhersage oft erfolgt. Zum Zeitpunkt der Detektion kann das Fahrszenario noch regelmäßig erscheinen, z. B. nur damit der Verkehr an der nächsten Kreuzung sich in eine komplizierte, überfüllte Umgebung verwandelt, in der der Mensch einige Sekunden später übernahm, um Sicherheit zu gewährleisten.

Tech Briefs: Was ist für selbstfahrende Autos noch herausfordernd zu detektieren?

Prof. Eckehard Steinbach: Eine wichtige Herausforderung im autonomen Fahren sind neuartige oder Out-of-Distribution-Daten. Wenn das Auto in eine Situation gerät, für die es nicht trainiert wurde, oder ein Objekt sieht, das es nicht kennt, können Probleme entstehen. Solche neuartigen Szenen verursachen menschlichen Eingriff, was dazu führt, dass diese Szenen als Trainingsdaten für unseren Ansatz genutzt werden. Während unsere Methode dann helfen kann, eine solche neue herausfordernde Umgebung beim nächsten Mal zu detektieren, bleibt das Detektieren und korrekte Managen einer völlig neuartigen Szene beim ersten Mal eine herausfordernde Aufgabe.

Was denken Sie? Teilen Sie Ihre Fragen und Kommentare unten.