KI-Blindspots aufdecken für mehr Sicherheit bei autonomen Fahrzeugen

Ein neues maschinelles Lernmodell macht fahrerlose Fahrzeuge sicherer. Es erkennt Situationen, in denen KI aus Beispielen lernt, die in der realen Welt zu gefährlichen Fehlern führen könnten.

Herausforderung: Simulations-Realitätslücke

Jüngste Fortschritte im Bereich künstlicher Intelligenz haben selbstfahrende Fahrzeuge und autonome Roboter intelligenter gemacht. Obwohl noch in den Kinderschuhen, werden fahrerlose Autos zunehmend alltäglich und könnten unser Transportsystem in den kommenden Jahren radikal verändern.

Forscher von MIT und Microsoft entwickelten kürzlich ein Modell, das «Blindspots» autonomer Systeme mithilfe menschlicher Eingaben aufdeckt. Es identifiziert Instanzen, in denen diese Systeme (aus Trainingsbeispielen oder Simulationen) lernen, in realen Umgebungen Fehler zu machen.

Die KI, die selbstfahrende Autos antreibt, wird beispielsweise umfangreich in Simulationen trainiert, um das Fahrzeug auf fast alle möglichen Straßenszenarien vorzubereiten. Doch manchmal macht das System in der realen Welt Fehler: Es ändert sein Verhalten nicht (wo es sollte) in bestimmten Szenarien.

Wenn beispielsweise ein fahrerloses Auto (nicht umfangreich trainiert) auf der Autobahn fährt und ein Krankenwagen sein Martinshorn einschaltet, nimmt das Auto den Krankenwagen möglicherweise nur als großes weißes Auto wahr und fährt nicht an den Straßenrand oder gibt dem Krankenwagen oder anderen Einsatzfahrzeugen keine Vorfahrt.

Forscher wollen die Lücke zwischen Simulation und realer Welt schließen, indem sie menschliche Eingaben integrieren und autonomen Systemen helfen, besser zu wissen, was sie nicht wissen.

Wie das Modell menschliches Feedback nutzt

Das autonome System wird zunächst in einer virtuellen Simulation trainiert, wo es jede Situation der besten Aktion zuordnet. Anschließend wird es in der realen Welt eingesetzt, wo Menschen eingreifen, wann immer es falsche Aktionen ausführt.

Menschen können Daten entweder durch Korrekturen oder Demonstrationen einspeisen. Für Korrekturen kann eine Person auf dem Fahrersitz Platz nehmen, während das Fahrzeug selbstständig eine geplante Route abfährt. Wenn das System unangemessene Aktionen ausführt, kann der Mensch das Lenkrad übernehmen – dies sendet ein Signal an die KI, dass sie falsche Aktionen ausführte und was sie in dieser Situation tun sollte.

Referenz: arXiv:1805.08966 | MIT

Alternativ können Menschen das System durch Demonstration/Fahren in der realen Welt trainieren. Das System analysiert und vergleicht jede menschliche Aktion mit dem, was es in dieser Situation getan hätte. Jede Abweichung (falls vorhanden) weist auf eine inakzeptable Aktion des Systems hin.

Umgang mit Blindspots

Nach Abschluss des manuellen Trainings verfügt das System im Wesentlichen über eine Liste akzeptabler und inakzeptabler Aktionen. Ziel ist es, mehrdeutige Situationen (oder Blindspots) zu erkennen, die die KI nur schwer unterscheiden kann.

Mit freundlicher Genehmigung der Forscher | MIT

Beispielsweise kann das autonome System mehrmals neben einem großen Fahrzeug hergefahren sein, ohne anzuhalten. Tut es dasselbe bei einem Krankenwagen (der für die KI exakt gleich aussieht), erhält es ein Feedbacksignal, das eine inakzeptable Aktion darstellt.

Um diese Art von Situationen zu bewältigen, nutzte das Team einen maschinellen Lernalgorithmus namens Dawid-Skene-Algorithmus. Er nimmt alle als «akzeptabel» und «inakzeptabel» gekennzeichneten Blindspots, aggregiert sie und nutzt Wahrscheinlichkeitsberechnungen, um Muster in diesen Labels zu erkennen.

Der Algorithmus liefert dann einen einzelnen aggregierten Blindspot mit einem Konfidenzniveau für jede Situation. Er erzeugt auch eine Heatmap, die die niedrige bis hohe Wahrscheinlichkeit eines Blindspots für jede Situation anzeigt.

In der realen Welt kann das Modell, wenn es eine Situation mit hoher Wahrscheinlichkeit als Blindspot einstuft, einen Menschen nach der angemessenen Aktion fragen, was eine sicherere Ausführung ermöglicht. Ein solches Modell kann auch autonomen Robotern helfen, vorherzusagen, wann sie in neuen Situationen unangemessene Aktionen ausführen könnten.