Autonome Autos meistern Navigation in engen Straßen

Stellen Sie sich vor, zwei Fahrzeuge fahren auf einer Einbahnstraße direkt aufeinander zu.

Wenn Sie in einem solchen engen, anspruchsvollen Fahrszenario am Steuer sitzen, können Sie mit den Beteiligten in der Nähe verhandeln. Sie können an den Straßenrand fahren und dem vorausfahrenden Fahrer signalisieren, die schmale Spur zu passieren. Durch Interaktion können Sie Manöver finden, die alle sicher ans Ziel bringen.

Ein selbstfahrendes Auto steht vor einer größeren Herausforderung: Es muss irgendwie die Absichten der umliegenden Fahrer und deren Kooperationsbereitschaft verstehen.

Ein neu entwickelter Algorithmus kann ein autonomes Fahrzeug durch schwierigen Verkehr auf einer überfüllten, engen Straße lotsen.

Der Algorithmus, entwickelt von Forschern des Carnegie Mellon University Argo AI Center for Autonomous Vehicle Research , trifft Entscheidungen, indem er verschiedene Grade der Fahrkooperationsbereitschaft modelliert – also wie wahrscheinlich ein Fahrer ist, anzuhalten, um einen anderen passieren zu lassen.

Mit „Multi-Agent Reinforcement Learning“ (MARL) brachte das Team, geleitet von Forscher Christoph Killing, autonome Fahrzeuge dazu, menschenähnliche Verhaltensweisen zu zeigen, einschließlich defensivem Fahren und der Interpretation des Verhaltens anderer Akteure – bisher in Simulation.

Der Algorithmus wurde noch nicht in einem realen Fahrzeug eingesetzt, aber die Ergebnisse sind vielversprechend, dank des belohnungsbasierten Modells.

„Wir incentivieren Interaktionen mit Blick auf Sicherheit“, sagte Killing, ehemaliger Gastforscher am Robotics Institute der School of Computer Science  und nun Teil des Autonomous Aerial Systems Lab an der Technischen Universität München.

In einem kurzen Q&A mit Tech Briefs erklärt Christoph Killing mehr darüber, wie das incentivierungsbasierte Modell schwierige Verkehrssituationen meistert, in denen es keine offiziellen Verkehrsregeln gibt.

Tech Briefs: Würden Sie Ihr Modell als eher kooperativ oder aggressiv charakterisieren, wenn es eine Situation bewältigt, die beides erfordert?

Christoph Killing: Wie in jedem Fahrszenario sollten autonome Fahrzeuge Sicherheit an erste Stelle setzen und alle Verkehrsregeln befolgen. Allerdings – und das ist die Schönheit und Herausforderung des betrachteten Szenarios – gibt es in dieser Art von Situation keine koordinierenden Verkehrsregeln (im Gegensatz zu 4-Wege-Stopps, zum Beispiel). Zwei Fahrzeuge mit gleichem Vorfahrtsrecht müssen aushandeln, wer zuerst fährt und wer wartet.

Wenn beide Fahrzeuge rein auf Sicherheit bedacht sind, werden beide anhalten. Die zentrale Herausforderung unserer Forschung war: Wie bringen wir ein Fahrzeug dazu, anzuhalten, und das andere, zu fahren – nicht beide anhalten, nicht beide fahren, wenn jeder seine eigenen Entscheidungen ohne koordinierende Instanz trifft.

Wir incentivieren Interaktionen mit Sicherheitsfokus; ein Zusammenstoß bei Geschwindigkeit ist schlimmer als ein Timeout – aber Timeouts erhalten auch eine kleine Strafe, um Agenten zu incentivieren, zu interagieren und aneinander vorbeizufahren.

Tech Briefs: Welche Hauptparameter nutzt Ihr Modell zur Fahrentscheidung? Welche Kriterien legt der Algorithmus zugrunde?

Christoph Killing: Unser Algorithmus wahrnimmt das, was in einem echten Auto verfügbar wäre. Wir haben Entfernungs- und Relativgeschwindigkeitsmessungen rund um die Fahrzeugfront (siehe Abb. 2 im Bericht ). Bemerkenswert: Im Gegensatz zu verwandten Arbeiten nutzen wir keine Vogelperspektive, sondern eine egzentrische Perspektive. Das ist etwas kniffliger, da wir nun tote Winkel haben. Diese Beobachtung wird durch weitere Parameter ergänzt, wie die oben genannte Kooperationsbereitschaft, um dem Agenten mitzuteilen, wie aggressiv er sich verhalten soll, aber auch den aktuellen Lenkwinkel und die Gaspedalstellung (die man auch kennen würde, wenn man selbst in diesem Szenario fährt).

Tech Briefs: Was ist für den Algorithmus noch herausfordernd?

Christoph Killing: Es gibt zwei Hauptprobleme: übermäßig aggressive und übermäßig passive Paarungen. (Vergleichen Sie die Visualisierungen hier .) Bemerkenswert: Unsere Policies verhandeln das Szenario meist erfolgreich. Doch menschliche Passagiere könnten mit manchen der gezeigten Manöver  ziemlich unzufrieden sein.

Tech Briefs: Was tut der Algorithmus, wenn klar ist, dass der Gegenüber aggressiv („schlecht“) oder übermäßig „kooperativ“ fährt?

Christoph Killing: Wir testen unsere Fahrpolicies, indem wir jedem Fahrzeug einen Kooperationswert zuweisen, der angibt, wie aggressiv es sich verhält. Jedes kennt nur seinen eigenen Kooperationswert, nicht den des Gegenübers. Diese Werte übersetzen sich ziemlich direkt in Fahrverhalten: Ein unkooperativer Fahrer interessiert sich nur für seinen eigenen Fortschritt. Ein hochkooperativer Fahrer kümmert sich nicht darum, welches Fahrzeug zuerst Fortschritt macht, solange jemand fährt. Diese Werte bleiben während der Interaktion festgelegt.

(Wir betrachten nicht „die Beherrschung verlieren“. Ich gehe hier nicht ins Detail, aber sagen wir: „aus mathematischen Gründen“.)

Tech Briefs: Erfordert ein Teil des Modells eine Art „Einschätzung“ des Gegenübers?

Christoph Killing: Ein Wort zur „Einschätzung“: In der Robotik unterscheidet man zwischen dem Zustand der Welt (also der Erde, wie sie jetzt ist) und einer Beobachtung. Unsere Fahrzeuge haben kein Speichermodul. Wie gehen wir also mit Dingen um, die wir im Moment nicht sehen?

Mehr zu selbstfahrenden Autos auf Tech Briefs

Ein Warnsystem für selbstfahrende Autos lernt aus Fehlern.

Software der Technischen Universität München hält selbstfahrende Fahrzeuge auf einem sicheren Pfad.

Nehmen wir an, Sie sind in einem Zoom-Call. Sie nehmen eine partielle Beobachtung der Erde wahr. Der andere Teilnehmer nimmt eine Kaffeetasse außerhalb des Kamerabildes, trinkt einen Schluck und stellt sie wieder ab. Wenn Sie nur die allerletzte Beobachtung nach dem Abstellen berücksichtigen und gefragt werden, was er trinkt, wissen Sie es nicht (weil kein Gedächtnis). Wenn Sie jedoch mehrere Beobachtungen der vergangenen Sekunden zusammenfassen („concatenieren“), können Sie etwas über den Zustand der Welt ableiten, da Sie die Tasse über mehrere Frames bewegt sehen. Anhand der Geschwindigkeit der Bewegung könnten Sie sogar etwas über die Stimmung schließen.

Genauso verhält es sich in unserem Szenario: Jedes Auto kennt den anderen Agenten nur basierend auf dem, was es aus dem Beobachtungsraum wahrnehmen kann (siehe Abb. 2 im Paper ). Interne Zustände (z. B. der Kooperationswert des anderen Autos) sind unbekannt. Wir fügen mehrere dieser partiellen Beobachtungen jedes Fahrzeugs zusammen, um ihnen zu ermöglichen, implizit eine Annahme darüber zu bilden, wie kooperativ das andere Fahrzeug sein könnte. Dies machen wir nicht manuell, sondern lassen das Deep Neural Network, die künstliche Intelligenz, die Aufgabe übernehmen. Dieses Netz muss auch die Antwort auf Ihre Frage lernen: Was tun, nachdem es eine bestimmte Aggressivität oder übermäßige Kooperationsbereitschaft bemerkt hat.

Tech Briefs: Wie erkennt das Modell „aggressives“ oder „kooperatives“ Verhalten und reagiert entsprechend?

Christoph Killing: Ein übermäßig aggressiver Agent könnte beispielsweise direkt in den Flaschenhals des Szenarios fahren und den anderen Agenten zwingen zu warten. Ein übermäßig kooperativer Agent würde – sobald der volle Umfang des Flaschenhalses von seinen Sensoren erfasst wird – abbremsen und warten. Unsere Policy ist trainiert, sofort die komplementäre Aktion zu wählen: Verlangsamung erkennen und fahren, oder umgekehrt.

Tech Briefs: Was sind die nächsten Schritte für diese Forschung?

Christoph Killing: Viele Dinge: Drei Hauptpunkte: Erstens betrachtet die aktuelle Arbeit nur autonomes Fahrzeug gegen autonomes Fahrzeug. Wir müssen dies auf autonomes Fahrzeug gegen Mensch erweitern und sehen, wie gut wir mit denen kooperieren. Zweitens können Fahrzeuge in unserer Arbeit nur vorwärts fahren, Rückwärtsfahren ist nicht erlaubt. Das könnte helfen, Situationen zu lösen, in denen man feststeckt. Drittens ist unsere Arbeit derzeit reine Simulation. Der Transfer in eine reale Lösung ist ein großer Schritt, den wir irgendwann gehen müssen.

Was denken Sie? Teilen Sie Ihre Fragen und Kommentare unten.