NVIDIA setzt KI ein, um Kameraschärfe für autonome Fahrzeuge zu verbessern

Forscher entwickeln tiefes neuronales Netz, das Fähigkeit einer Kamera bewertet, klar zu sehen. Selbstfahrende Fahrzeuge können dieses Netz für bessere Entscheidungen nutzen.

Herausforderung: Kamerasicht bei widrigen Bedingungen

Dutzende Firmen arbeiten an autonomer Fahrzeugtechnik mit unterschiedlichen Ansätzen. Um menschliche Sehfähigkeit zu imitieren, setzt Technik 주로 auf drei Elemente: Radar, Kameras, Lidar.

Faktoren wie Regen, Schnee und andere Blockaden verschlechtern Kamerasicht. Das behindert robuste Wahrnehmungssysteme, Umgebung zu verstehen und Sensordaten zu validieren.

Um Ungültigkeit von Sensordaten so früh wie möglich in der Verarbeitungspipeline zu detektieren, bevor sie Downstream-Module erreichen, entwickelten NVIDIA-Forscher KI-Modell, das Kamerasicht bewertet.

ClearSightNet

Dieses Modell nutzt tiefes neuronales Netz – ClearSightNet –, um Grundursachen von Blockaden, Okklusionen und Sichtreduktionen zu entdecken. Potenzial:

1. Reasoning über breite Palette möglicher Ursachen für Kamerasichtreduktion.
2. Bereitstellung handlungsrelevanter Daten.
3. Lauf auf verschiedenen Kameras mit geringem Rechenaufwand.

Funktionsweise

Netz teilt Kamerabilder in zwei Teile: einer assoziiert mit Okklusion, anderer mit Sichtreduktion.

Quelle: NVIDIA | YouTube

Okklusion = spezifischer Teil des Kamerasichtsfelds, blockiert von undurchsichtigen Objekten (Schnee, Schlamm, Staub) oder ohne Daten (z. B. gesättigte Pixel durch Sonnenlicht). In diesen Bereichen ist Wahrnehmung vollständig beeinträchtigt.

Reduzierte Sicht = Bereiche, teilweise blockiert durch Nebel, Blendung, starker Regen. Hier sollten Algorithmumentscheidungen mit «niedrigerer Konfidenz» markiert werden.

Linke Seite: Eingabebild, rechte Seite: Bild überlagert mit neuronalem Netz-Ausgabemasken. ~84 % Bildpixel von partieller/vollständiger Okklusion betroffen.

ClearSightNet legt Maske auf Input-Video/Bild in Echtzeit. Reduzierte Sicht = grün, vollständige Okklusion = rot. Netz zeigt auch, wie viel Eingabebildfläche von reduzierter Sicht/Okklusion betroffen ist.

Diese Daten nutzbar auf verschiedene Weise. Selbstfahrende Autos können z. B. Auto-Features bei niedriger Sicht deaktivieren und Fahrer warnen, Windschutzscheibe/Kameralinse zu reinigen. Fahrzeuge nutzen Netz für Kamerawahrnehmungskenntnis.

Team plant, ClearSightNet weiter zu verbessern für End-to-End-Berechnungen und detailliertere Kamerasicht-Infos, um größere Kontrolle über Implementierung autonomer Fahrzeuge zu ermöglichen.

Performance: Netz läuft ~1,3 ms (integrierte GPU) und 0,7 ms (diskrete GPU) pro Frame auf Xavier. Bereits in NVIDIA DRIVE 9.0 verfügbar.