Wert aus Daten für KI herausquetschen

Daten sind alles – in vielerlei Hinsicht das Einzige – für Anbieter autonomer Fahrzeuge (AVs), die auf Deep Learning als Schlüssel zum autonomen Fahren angewiesen sind.

Daten sind der Grund, warum AV-Unternehmen kilometerlange Testerfahrungen auf öffentlichen Straßen sammeln und Petabytes an Straßengeschichten aufzeichnen und lagern. Waymo zum Beispiel behauptete im Juli mehr als 10 Millionen Meilen in der realen Welt und 10 Milliarden Meilen in der Simulation.

Aber hier ist noch eine andere Frage, die die Branche nicht gerne stellt:

Gehen Sie davon aus, dass AV-Unternehmen bereits Petabyte oder sogar Exabyte an Daten auf realen Straßen gesammelt haben. Wie viel von diesem Datensatz wurde beschriftet? Vielleicht noch wichtiger, wie genau sind die annotierten Daten?

In einem kürzlichen Interview mit der EE Times erklärte Phil Koopman, Mitbegründer und CTO von Edge Case Research, dass „niemand es sich leisten kann, alles zu benennen.“

Datenkennzeichnung:zeitaufwändig und teuer

Für die Annotation sind in der Regel fachkundige menschliche Augen erforderlich, um einen kurzen Videoclip anzusehen und dann Kästchen um jedes Auto, jeden Fußgänger, jedes Straßenschild, jede Ampel oder jedes andere Element zu zeichnen und zu beschriften, das möglicherweise für einen autonomen Fahralgorithmus relevant ist. Der Prozess ist nicht nur zeitaufwändig, sondern auch sehr kostspielig.

Ein kürzlich auf Medium erschienener Artikel mit dem Titel „Data Annotation:The Billion Dollar Business Behind AI Breakthroughs“ veranschaulicht das schnelle Aufkommen von „Managed Data Labeling Services“, die darauf abzielen, domänenspezifisch gekennzeichnete Daten mit Schwerpunkt auf Qualitätskontrolle bereitzustellen. Die Geschichte notierte:

Neben ihren internen Datenkennzeichnungsteams verlassen sich auch Technologieunternehmen und selbstfahrende Start-ups stark auf diese verwalteten Kennzeichnungsdienste … einige selbstfahrende Unternehmen zahlen dafür Datenkennzeichnungsunternehmen im Wert von mehreren Millionen Dollar pro Monat.

In einer anderen Geschichte von IEEE Spectrum vor einigen Jahren wurde Carol Reiley, Mitbegründerin und Präsidentin von Drive.ai, mit den Worten zitiert:

Tausende von Menschen beschriften Kartons um Dinge herum. Für jede gefahrene Stunde sind ungefähr 800 Arbeitsstunden für die Etikettierung erforderlich. Diese Teams werden alle kämpfen. Wir sind bereits um Größenordnungen schneller und optimieren ständig.

Einige Unternehmen wie Drive verwenden Deep Learning, um die Automatisierung der Datenanmerkung zu verbessern, um den mühsamen Prozess der Datenkennzeichnung zu beschleunigen.

Lass uns Daten ohne Label verwenden

Koopman glaubt jedoch, dass es eine andere Möglichkeit gibt, „den Wert aus den gesammelten Daten herauszupressen“. Wie wäre es damit, „ohne die meisten Petabytes der aufgezeichneten Daten zu kennzeichnen?“

Er erklärte, dass Edge Case Research darauf „gestolpert“ sei, als er einen Weg suchte, der es der AV-Branche ermöglichte, die Entwicklung sichererer Wahrnehmungssoftware zu beschleunigen. Edge Case Research nennt es „Hologramm“, das im Wesentlichen ein „KI-Wahrnehmungs-Stresstest- und Risikoanalysesystem“ für AVs ist.

Genauer gesagt, wie Koopman erklärte:„Hologramm verwendet unbeschriftete Daten“, und das System führt dieselben unbeschrifteten Daten zweimal aus.

Erstens führt es unbeschriftete Basisdaten auf einer handelsüblichen, normalen Wahrnehmungsmaschine aus. Dann wird mit denselben unbeschrifteten Daten ein Hologramm angewendet, das eine sehr leichte Störung hinzufügt – Rauschen. Durch die Belastung des Systems kann Hologramm, wie sich herausstellt, potenzielle Schwächen der Wahrnehmung in KI-Algorithmen aufdecken.

Wenn einem Videoclip beispielsweise ein wenig Körnung hinzugefügt wird, könnte ein Mensch wahrnehmen, dass "da ist etwas, aber ich weiß nicht, was es ist."

Aber ein KI-gesteuertes Wahrnehmungssystem kann, wenn es unter Stress steht, ein unbekanntes Objekt entweder völlig verfehlen oder es über die Schwelle treten und in eine andere Klassifizierungsbox legen.

Wenn die KI noch lernt, ist es nützlich, ihr Vertrauensniveau zu kennen (da es bestimmt, was sie sieht). Aber wenn KI in der Welt angewendet wird, sagt uns das Vertrauensniveau nicht viel aus. KI ist oft „vermuten“ oder einfach „vermuten“.

Mit anderen Worten, die KI täuscht es vor.

Hologramm kann konstruktionsbedingt die KI-gesteuerte Wahrnehmungssoftware „anstecken“. Es zeigt, wo ein KI-System versagt hat. Zum Beispiel löst ein gestresstes System seine Verwirrung, indem es auf mysteriöse Weise ein Objekt aus der Szene verschwinden lässt.

Vielleicht, interessanter, kann Hologramm auch unter Rauschen erkennen, wo die KI „fast versagt“, aber richtig geraten hat. Hologramm enthüllt Bereiche in einem Videoclip, in denen das KI-gesteuerte System sonst „Pech gehabt hätte“, sagte Koopman.

Ohne Petabytes an Daten zu kennzeichnen, aber zweimal auszuführen, kann Hologram eine Vorwarnung bieten, in der die Dinge "faul" aussehen, und Bereiche, in denen "Sie besser zurückgehen und noch einmal suchen" können, indem Sie entweder mehr Daten sammeln oder mehr Training durchführen, sagte Koopman .

Dies ist natürlich eine sehr vereinfachte Version von Hologramm, da das Tool selbst in Wirklichkeit "eine Menge geheimer Saucen enthält, die von einer Menge Technik unterstützt werden", sagte Koopman. Aber wenn Hologram den Benutzern „nur die guten Teile“ mitteilen kann, die eine menschliche Überprüfung verdienen, kann dies zu einer sehr effizienten Möglichkeit führen, einen echten Wert aus derzeit gesperrten Daten zu ziehen.

„Maschinen sind erstaunlich gut darin, das System zu spielen“, bemerkte Koopman. Oder „Dinge wie ‚P-Hacking‘ machen.“ P-Hacking ist eine Art von Verzerrung, die auftritt, wenn Forscher Daten oder statistische Analysen sammeln oder auswählen, bis nicht signifikante Ergebnisse signifikant werden. Maschinen können zum Beispiel Korrelationen innerhalb von Daten finden, wo keine existieren.

Open-Source-Datensatz

Auf die Frage, ob dies eine gute Nachricht für Edge Case Research sei, sagte Koopman:„Leider werden diese Datensätze nur der Forschungsgemeinschaft zur Verfügung gestellt. Nicht für den kommerziellen Gebrauch.“

Selbst wenn Sie einen solchen Datensatz zum Ausführen von Hologramm verwenden, sollten Sie außerdem dieselbe Wahrnehmungsmaschine verwenden, die zum Sammeln von Daten verwendet wird, um Schwachstellen in Ihrem KI-System zu erkennen.

Screenshot des Hologramms

Unten ist ein Screenshot, der zeigt, wie die neueste kommerzielle Version von Hologram funktioniert.

Die Hologramm-Engine findet Fälle, in denen ein Wahrnehmungssystem dieses Stoppschild nicht erkannt hat, und stellt Analysten leistungsstarke Werkzeuge zur Verfügung, um auslösende Bedingungen wie den lauten Hintergrund zu erkennen. (Quelle:Edge Case Research)

Durch Hinzufügen von Rauschen sucht Hologramm nach Auslösebedingungen, die dazu führten, dass ein KI-System ein Stoppschild fast übersehen hätte (orange Balken) oder ein Stoppschild vollständig nicht erkannte (rote Balken nach unten).

Orangefarbene Balken warnen KI-Designer vor bestimmten Bereichen, die ein erneutes Training des AL-Algorithmus erfordern, indem mehr Daten gesammelt werden. Rote Balken ermöglichen es KI-Designern, auslösende Bedingungen zu untersuchen und zu spekulieren:Was hat dazu geführt, dass die KI das Stoppschild verpasst hat? War das Schild zu nah an einer Stange? Gab es einen verrauschten Hintergrund oder zu wenig sichtbaren Kontrast? Wenn sich genügend Beispiele für auslösende Bedingungen ansammeln, ist es möglicherweise möglich, spezifische Auslöser zu identifizieren, erklärte Eben Myers, Produktmanager von Edge Case Research.

Hologramm hilft AV-Designern, die Grenzfälle zu finden, in denen ihre Wahrnehmungssoftware seltsames, potenziell unsicheres Verhalten zeigt. (Quelle:Edge Case Research)

Partnerschaft mit Ansys

Anfang dieser Woche gab Ansys eine Partnerschaftsvereinbarung mit Edge Case Research bekannt. Ansys plant, Hologram in seine Simulationssoftware zu integrieren. Ansys sieht die Integration als eine entscheidende zugrunde liegende Komponente, um „die erste ganzheitliche Simulations-Toolkette der Branche für die Entwicklung von AVs“ zu entwickeln. Ansys arbeitet mit BMW zusammen, das versprochen hat, sein erstes AV im Jahr 2021 zu liefern.

ANSYS und BMW erstellen Simulationswerkzeugkette für autonomes Fahren (Quelle:Ansys)

— Junko Yoshida, Global Co-Editor-In-Chief, AspenCore Media, International Chief Correspondent, EE Times

>> Dieser Artikel wurde ursprünglich veröffentlicht am unsere Schwesterseite EE Times:„Verwenden Sie nicht gekennzeichnete Daten, um zu sehen, ob KI es nur vortäuscht.“