KI-Wert mit unlabeled Data freisetzen: Wie Hologram autonome Perception stress-testet

Daten sind das Lebensblut der Autonomous Vehicle (AV) Entwicklung, powering die Deep-Learning-Modelle, die Self-Driving-Systeme ermöglichen.

Um wettbewerbsfähig zu bleiben, loggen AV-Vendoren Millionen Meilen auf öffentlichen Straßen, speichern Petabytes Raw Footage. Waymo hat beispielsweise 10 Millionen Real-World-Meilen und 10 Milliarden simulierte Meilen recorded Data überschritten.

Doch die Industrie stellt selten eine kritische Frage: Wie viel von diesem riesigen Archiv wurde tatsächlich gelabelt, und wie akkurat sind diese Labels?

Phil Koopman, Co-Founder und CTO von Edge Case Research, warnte in einem aktuellen EE Times Interview: „Niemand kann es sich leisten, all das zu labeln.“

Datenslabeling ist zeitaufwändig und kostspielig

Annotation fordert expert Human Reviewers, kurze Video-Clips anzusehen und Bounding Boxes um jedes Vehicle, Pedestrian, Sign und Traffic Light zu zeichnen, relevant für Autonomous Driving Algorithmen. Der Prozess ist laborious und expensive.

Ein Medium Artikel „Data Annotation: The Billion Dollar Business Behind AI Breakthroughs“ beleuchtet den Aufstieg Managed Labeling Services, die domain-spezifische, hochqualitative Datasets liefern. Das Stück notes, dass einige Self-Driving Startups diese Firmen bis zu Millionen Dollar pro Monat bezahlen.

IEEE Spectrum berichtete, dass Carol Reiley, Co-Founder und President von Drive.ai, sagte: „Tausende Menschen labeln Boxen um Objekte. Für jede Stunde Fahren braucht es ca. 800 menschliche Stunden zum Labeln.“ Diese Teams kämpfen, mit dem Datenzufluss Schritt zu halten.

Firmen wie Drive.ai erforschen Deep-Learning-basierte Annotation Assistants, um den mühsamen Labeling-Prozess zu beschleunigen.

Unlabeled Data nutzen

Koopman glaubt, es gibt eine Alternative zum Labeln von Petabytes Footage: Die Daten selbst nutzen. Edge Case Research entwickelte „Hologram“, ein KI Perception Stress-Testing und Risk-Analysis System, designed um Perception Software Development ohne exhaustive Annotation zu beschleunigen.

Hologram verarbeitet das gleiche unlabeled Footage zweimal. Erstens läuft es das Footage durch eine Baseline Perception Engine. Dann re-prozessiert es den Clip mit subtiler Noise Perturbation, creating ein „gestresstes“ Szenario. Der Noise deckt versteckte Schwächen in den Decision Boundaries der KI auf.

Während ein Mensch ein blurred Object sehen und zögern mag, kann die KI es entweder komplett verpassen oder misclassifizieren. Durch Offenlegung solcher Failures hilft Hologram Developern, die exakten Bedingungen zu pinpointen, die Misbehavior triggern.

Da das System auf unlabeled Data operiert, umgeht es den Labeling-Bottleneck, während es dennoch actionable Insights liefert. Hologram flaggt problematische Szenen mit farbkodierten Bars: Orange deutet auf Near-Miss hin, der Retraining nahelegt, Rot markiert complete Failure, der tiefere Investigation in Trigger-Faktoren wie Background Noise oder Poor Contrast einlädt.

Koopman betonte, dass Holograms „Secret Sauces“ – advanced Engineering und proprietäre Algorithmen – es ermöglichen, nur die kritischsten Anomalien zu surfacen, making Human Review weit effizienter.

Er warnte auch, dass die öffentlich verfügbaren Datasets, die Hologram nutzt, auf die Research Community restricted sind und mit derselben Perception Engine gepaired werden sollten, die die Data generierte, für meaningful Analysis.

Holograms Impact visualisieren

Die Hologram Engine highlightet, wo ein Perception System ein Stop Sign nicht detektiert, revealing Trigger Conditions wie noisy backgrounds. (Quelle: Edge Case Research)

Holograms Interface markiert Near-Misses mit orange Bars, prompting Algorithm Retraining, und rote Bars, die complete Detection Failures flaggen, enabling Designern, Ursachen wie Proximity zu einem Pole oder Low Contrast zu traceen.

Hologram hilft AV Designern, Edge Cases aufzudecken, wo Perception Software odd verhält, potenziell Safety gefährdend. (Quelle: Edge Case Research)

Strategische Partnerschaft mit Ansys

Ankündigte kürzlich eine Kollaboration mit Edge Case Research, um Hologram in seine Simulationsplattform einzubetten. Ziel: Bau der ersten comprehensive Simulation Pipeline für Autonomous Vehicle Development. Ansys kollaboriert auch mit BMW, das sein erstes AV bis 2021 liefern will.

ANSYS und BMW erstellen Simulation Tool Chain für Autonomous Driving. (Quelle: Ansys)

— Junko Yoshida, Global Co-Editor-In-Chief, AspenCore Media, Chief International Correspondent, EE Times

>> Dieser Artikel wurde ursprünglich auf unserer Schwesterseite EE Times veröffentlicht: „Use Unlabeled Data to See If AI Is Just Faking It.“