Selbstfahrendes Modell navigiert durch ein schwieriges Verkehrsproblem:Enge Straßen

Angenommen, zwei Fahrzeuge fahren in einer Einbahnstraße genau aufeinander zu.

Wenn Sie in solch einem engen, herausfordernden Fahrszenario am Steuer sitzen, können Sie mit den Parteien in der Nähe verhandeln. Sie können am Straßenrand anhalten und dann dem vorausfahrenden Fahrer ein Zeichen geben, durch die schmale Fahrspur zu fahren. Durch Interaktion können Sie Manöver herausfinden, die alle sicher und an ihrem Ziel halten.

Ein selbstfahrendes Auto hat eine größere Herausforderung und muss die Fahrer in der Nähe und ihre Bereitschaft, nett zu spielen, irgendwie verstehen.

Ein neuer Algorithmus, der sich in der Entwicklung befindet, kann ein autonomes Fahrzeug durch dichten Verkehr auf einer überfüllten, engen Straße führen.

Der Algorithmus wurde von Forschern des Argo AI Center for Autonomous Vehicle Research der Carnegie Mellon University entwickelt , trifft seine Entscheidungen, indem es verschiedene Ebenen der Fahrerkooperation modelliert – wie wahrscheinlich es ist, dass ein Fahrer anhält, um einen anderen Fahrer vorbeizulassen.

Mit „Multi-Agent Reinforcement Learning“, kurz MARL, brachte das Team um den Forscher Christoph Killing autonome Fahrzeuge dazu, menschenähnliches Verhalten an den Tag zu legen, einschließlich defensivem Fahren und der Interpretation des Verhaltens anderer Agenten – bisher in Simulation. P>

Der Algorithmus wurde noch nicht an einem Fahrzeug in der realen Welt verwendet, aber die Ergebnisse sind dank des belohnungsbasierten Systems des Modells vielversprechend.

„Wir fördern Interaktionen unter Berücksichtigung der Sicherheit“, sagte Killing, ein ehemaliger Gastwissenschaftler am Robotics Institute der School of Computer Science und jetzt Teil des Autonomous Aerial Systems Lab der Technischen Universität München.

In einem kurzen Q&A mit Tech Briefs Unten erklärt Christoph mehr darüber, wie das anreizbasierte Modell seines Teams schwierige Verkehrssituationen meistert, in denen es keine offiziellen Straßenverkehrsregeln gibt.

Technische Informationen: Würden Sie Ihr Modell als eher kooperativ oder aggressiv charakterisieren, wenn Sie eine Herausforderung meistern, die ein bisschen von beidem erfordert?

Christoph Killing: Wie in jedem Fahrszenario sollte bei autonomen Fahrzeugen die Sicherheit an erster Stelle stehen und alle Verkehrsregeln befolgt werden. Allerdings – und das ist das Schöne und die Herausforderung des betrachteten Szenarios – gibt es in dieser Art von Szenario keine koordinierenden Verkehrsregeln (im Gegensatz zu beispielsweise 4-Wege-Haltestellenkreuzungen). Zwei gleichberechtigte Fahrzeuge müssen grundsätzlich aushandeln, wer zuerst fährt und wer wartet.

Wenn beide Fahrzeuge rein auf Sicherheit ausgerichtet sind, halten beide an. Die größte Herausforderung, mit der wir bei unserer Forschung konfrontiert waren, war:Wie bringen wir ein Fahrzeug dazu, anzuhalten und wieder loszufahren – nicht beide Fahrzeuge anhalten zu lassen, nicht beide Fahrzeuge losfahren zu lassen, wenn jeder seine eigenen Entscheidungen ohne eine koordinierende Instanz trifft?

Wir fördern Interaktionen unter Berücksichtigung der Sicherheit; Ein Absturz bei hoher Geschwindigkeit ist schlimmer als eine Zeitüberschreitung – aber Zeitüberschreitungen führen auch zu einer kleinen Strafe, um die Agenten dazu anzuregen, zu lernen, miteinander zu interagieren und aneinander vorbeizugehen.

Technische Informationen :Was sind die Hauptparameter, die Ihr Modell verwendet, um die Fahrt auszuführen? Auf welchen Kriterien basiert der Algorithmus seine Entscheidungen?

Christoph Killing :Unser Algorithmus nimmt wahr, was auf einem tatsächlichen Auto verfügbar wäre. Wir haben Abstands- und Relativgeschwindigkeitsmessungen um die Vorderseite des Autos herum (siehe Abb. 2 im Bericht hier ). ). Bemerkenswerterweise verwenden wir im Vergleich zu verwandten Arbeiten keine Vogelperspektive auf das Szenario, sondern eine egozentrische Perspektive. Das macht es etwas kniffliger, da wir jetzt blinde Flecken haben. Ergänzt wird diese Beobachtung durch weitere Parameter, wie die oben erwähnte Kooperationsfähigkeit, dem Agenten mitzuteilen, wie aggressiv er sich verhalten soll, aber auch der aktuelle Lenkwinkel und die Drosselklappenstellung (die Sie in diesem Szenario auch kennen würden, wenn Sie selbst fahren).

Technische Informationen :Was ist immer noch eine Herausforderung für den Algorithmus, um es richtig zu machen?

Christoph Killing :Es gibt zwei Hauptherausforderungen:übermäßig aggressive Paarungen und übermäßig passive Paarungen. (Vergleichen Sie die Visualisierungen hier .) Bemerkenswerterweise sind unsere Richtlinien in der Lage, das Szenario die meiste Zeit zu verhandeln. Menschliche Passagiere könnten jedoch ziemlich unzufrieden damit sein, dass ihre Autos einige der hier gezeigten Manöver ausführen .

Technische Informationen :Was macht der Algorithmus, wenn klar ist, dass ein gegnerischer Fahrer ein aggressiver, „schlechter“ Fahrer ist? Oder ein übermäßig „kooperativer“ Fahrer?

Christoph Killing :Wir testen unsere Fahrrichtlinien, indem wir jedem Fahrzeug einen Wert für Kooperation zuweisen und ihm sagen, wie aggressiv es sich verhalten soll. Jeder weiß nur um seine eigene Kooperationsbereitschaft, nicht um die des gegnerischen Autos. Diese kooperativen Werte lassen sich ganz einfach auf das Fahrverhalten übertragen:Ein unkooperativer Fahrer ist nur an seinem eigenen Fortschritt interessiert. Einem sehr kooperativen Fahrer ist es egal, welches Fahrzeug zuerst vorankommt, solange jemand fährt. Diese Werte werden während der gesamten Interaktion festgelegt.

(Wir ziehen nicht in Betracht, „die Beherrschung zu verlieren“. Ich werde hier nicht tief eintauchen, aber lassen Sie es uns einfach bei „aus mathematischen Gründen“ belassen.)

Technische Informationen :Erfordert ein Teil des Modells eine Art „Lesen“ des gegnerischen Fahrers?

Christoph Killing :Ein Wort zum „Lesen“:In der Robotik unterscheiden wir zwischen dem Zustand der Welt (also des Planeten Erde, wie er gerade ist) und einer Beobachtung. Unsere Fahrzeuge haben kein Speichermodul. Wie gehen wir also mit Dingen um, die wir im Moment nicht sehen?

Mehr selbstfahrende Autos in Tech Briefs

Ein Warnsystem für selbstfahrende Autos lernt aus Ausfällen.

Software der TU München hält selbstfahrende Fahrzeuge auf sicherem Kurs.

Nehmen wir zum Beispiel an, Sie führen einen Zoom-Anruf mit jemandem. Ihr nehmt sozusagen eine Teilbeobachtung des Planeten Erde wahr. Die andere Partei nimmt eine Kaffeetasse von außerhalb des Sichtfelds ihrer Kamera, nimmt einen Schluck und stellt sie wieder außerhalb des Sichtfelds ihrer Kamera ab. Wenn Sie nur die allerletzte Beobachtung berücksichtigen, die Sie gemacht haben, nachdem der Becher abgestellt wurde, und gefragt werden, was sie trinken, wissen Sie es einfach nicht (weil es keine Erinnerung gibt). Wenn Sie jedoch mehrere Beobachtungen in den letzten Sekunden zusammenfügen (wir nennen es "verketten"), können Sie etwas über den Zustand der Welt ableiten, wenn Sie dann sehen, wie der Becher über mehrere Frames bewegt wird. Je nachdem, wie schnell sie sich bewegen, können Sie vielleicht sogar etwas über ihre Stimmung sagen.

Ebenso kennt in unserem Szenario jedes Auto nur den anderen Agenten, basierend auf dem, was es aus dem Beobachtungsraum beobachten kann (gezeigt in Abb. 2. im Papier ). Interne Zustände (z. B. der Kooperationswert des anderen Autos) sind unbekannt. Wir verketten mehrere dieser Teilbeobachtungen jedes Fahrzeugs, damit sie sich implizit eine Vorstellung davon bilden können, wie kooperativ das andere Fahrzeug sein könnte. Wir machen das nicht manuell, sondern lassen das Deep Neural Network, die künstliche Intelligenz, die Aufgabe übernehmen. Dieses Neuronale Netz muss auch die Antwort auf Ihre Frage lernen, nämlich was zu tun ist, nachdem es eine gewisse Aggressivität oder übermäßig kooperatives Verhalten bemerkt hat.

Technische Informationen :Wie stellt das Modell ein "aggressives" oder "kooperatives" Verhalten fest und reagiert entsprechend?

Christoph Killing :Ein übermäßig aggressiver Agent könnte zum Beispiel direkt in diesen Engpass des Szenarios vordringen und den anderen Agenten im Wesentlichen zwingen, zu warten. Ein allzu kooperativer Agent würde – sobald das volle Ausmaß des Engpasses durch seine Sensoren wahrnehmbar ist – abbremsen und abwarten. Hier ist unsere Politik darauf trainiert, sofort die ergänzende Aktion auszuwählen:eine Verlangsamung erkennen und losfahren oder umgekehrt.

Technische Informationen :Was kommt als nächstes für diese Forschung?

Christoph Killing :Vieles:Drei Hauptpunkte:Erstens ist die aktuelle Arbeit autonomes Fahrzeug nur mit autonomem Fahrzeug konfrontiert. Wir müssen dies auf ein autonomes Fahrzeug ausdehnen, das mit einem Menschen konfrontiert wird, und sehen, wie gut wir mit diesen kooperieren. Zweitens dürfen Fahrzeuge in unserem Werk nur vorwärts fahren, wir gestatten kein Rückwärtsfahren. Dies könnte jedoch helfen, sich von Situationen zu erholen, in denen wir feststecken. Drittens ist unsere Arbeit derzeit nur Simulation. Die Übertragung auf eine reale Lösung ist ein wichtiger Schritt, den wir irgendwann unternehmen müssen.

Was denken Sie? Teilen Sie unten Ihre Fragen und Kommentare.