NVIDIA verwendet KI, um Kameras dabei zu helfen, klar zu sehen

• Forscher entwickeln ein tiefes neuronales Netzwerk, das die Fähigkeit einer Kamera bewertet, klar zu sehen.
• Selbstfahrende Fahrzeuge können dieses Netzwerk nutzen, um bessere Entscheidungen zu treffen.

Dutzende Unternehmen arbeiten an der autonomen Fahrzeugtechnologie und gehen alle die technischen Herausforderungen auf unterschiedliche Weise an. Um die Sehfähigkeit des Menschen nachzuahmen, stützt sich die Technologie hauptsächlich auf drei grundlegende Elemente:Radar, Kameras und Lidar.

Mehrere Faktoren wie Regen, Schnee und andere Arten von Blockaden können jedoch die Sicht der Kamera beeinträchtigen. Dies behindert die Fähigkeit des robusten Wahrnehmungssystems, seine Umgebung zu verstehen und von Sensoren eingehende Daten zu validieren.

Um die Ungültigkeit von Sensordaten so schnell wie möglich in der Verarbeitungspipeline effektiv zu erkennen, bevor sie zu den nachgeschalteten Modulen gelangen, haben Forscher von NVIDIA ein KI-Modell entwickelt, das die Fähigkeit einer Kamera bewertet, klar zu sehen.

Dieses Modell verwendet ein tiefes neuronales Netzwerk mit dem Namen ClearSightNet, um die Ursachen von Blockaden, Okklusionen und Sichtbarkeitsminderungen zu entdecken. Es hat das Potenzial,

1. Grund für eine Vielzahl möglicher Ursachen für die Verringerung der Sichtbarkeit der Kamera.
2. Stellen Sie umsetzbare Daten bereit.
3. Betrieb verschiedener Kameras mit geringem Rechenaufwand

Wie es funktioniert?

Das Netzwerk teilt die Kamerabilder in zwei verschiedene Teile auf; einer von ihnen ist mit Okklusion verbunden, während der andere mit einer Verringerung der Sichtbarkeit verbunden ist.

Quelle:NVIDIA | YouTube

Die Okklusion stellt den spezifischen Teil des Sichtfelds der Kamera dar, der durch undurchsichtige Objekte (wie Schnee, Schlamm oder Staub) blockiert wird oder keine Daten enthält (z. B. gesättigte Pixel aufgrund von Sonnenlicht). In diesen Abschnitten ist die Wahrnehmung vollständig beeinträchtigt.

Eine eingeschränkte Sichtbarkeit stellt Teile dar, die durch Nebel, Blendlicht oder starken Regen teilweise blockiert sind. In solchen Fällen sollte die von Algorithmen getroffene Entscheidung mit „geringerer Konfidenz“ gekennzeichnet werden.

Die linke Seite zeigt das Eingabebild, während die rechte Seite das Bild ist, das mit der Ausgabemaske des neuronalen Netzwerks überlagert ist. Fast 84 Prozent der Bildpixel sind von partieller und vollständiger Okklusion betroffen.

Um diese Teile anzuzeigen, legt ClearSightNet in Echtzeit eine Maske auf ein Eingabevideo/Bild. Bereiche mit eingeschränkter Sichtbarkeit sind mit grüner Farbe markiert und vollständig verdeckte Bereiche sind mit rot markiert. Das Netzwerk zeigt auch an, wie viel Bereich des Eingangsvideos von eingeschränkter Sichtbarkeit oder Okklusion betroffen ist.

Diese Daten können auf verschiedene Weise verwendet werden. Die selbstfahrenden Autos können beispielsweise bei schlechten Sichtverhältnissen keine Autofunktion anwenden und den Fahrer darauf aufmerksam machen, die Windschutzscheibe oder das Kameraobjektiv zu reinigen. Fahrzeuge können dieses Netzwerk verwenden, um die Kamerawahrnehmung zu kennen.

Das Team plant, das ClearSightNet weiter zu verbessern, um End-to-End-Berechnungen und detailliertere Informationen zur Kamerasichtbarkeit bereitzustellen, um eine bessere Kontrolle über den Implementierungsprozess autonomer Fahrzeuge zu ermöglichen.

Lesen Sie:Nvidia AI kann Videos mit 30 fps in 240 fps konvertieren

Was die Leistung [des aktuellen ClearSightNet] angeht, läuft das Netzwerk auf Xavier in etwa 1,3 Millisekunden (integrierte GPU) und 0,7 Millisekunden (diskrete GPU) pro Frame. Es ist bereits in NVIDIA DRIVE 9.0 verfügbar.