Dual-Kamera-System überwacht Fahrer und Straße mit einem einzigen KI-SoC

KeepTruckins neuer Dashcam, basierend auf Ambarellas CV22-System auf einem Chip, verwendet KI, um Fahrer von Lastwagen und anderen Nutzfahrzeugen zu überwachen.

Fahrerüberwachungssysteme sind zu einem wesentlichen Bestandteil des Gesprächs über die Fahrzeugsicherheit geworden. Während ein Großteil der Fahrerüberwachungsdiskussion sich um den Einsatz von Personen in Pkw drehte, gibt es im Nutzfahrzeugsektor einen riesigen Markt für die Überwachung von Fahrern in ihren Lkw, um die Sicherheit zu gewährleisten und Unfälle zu vermeiden, sowie um Flottenmanagern zu ermöglichen um das Risiko einzuschätzen und die Versicherungskosten zu senken.

Das Flottenmanagement-Technologieunternehmen KeepTruckin, das diesen Markt bedient, gab diese Woche bekannt, dass es mit Ambarella eine Partnerschaft mit dem führenden Unternehmen für künstliche Intelligenz (KI) Vision System on Chip (SoC) eingegangen ist, um seine neue Aftermarket-Dashcam für größere Nutzfahrzeuge zu entwickeln. Die neue Dashcam verwendet einen einzigen Ambarella CV22-SoC, um gleichzeitig KI und Bildverarbeitung für ihr Dual-Kamera-System bereitzustellen, das eine Kamera für das vordere Fahrerassistenzsystem (ADAS) mit Vorfallaufzeichnung und eine zweite RGB-IR-Kamera für die Fahrerüberwachungssystem (DMS) mit Fahreraufzeichnung.

Die Leistungs-pro-Watt-Spezifikation des CV22 ermöglicht es der kleinen KI-Dashcam auch, die proprietären KI-Algorithmen von KeepTruckin zur Echtzeiterkennung von hochriskantem Verhalten und aktiven Warnungen direkt auf dem Gerät mit minimaler Wärmeableitung auszuführen.

EE Times sprach mit Führungskräften von KeepTruckin und Ambarella, um mehr über die Produktentwicklung zu erfahren. Jai Ranganathan, SVP für Produkte bei KeepTruckin, sagte:„Die Sicherheit der Fahrer ist wichtiger denn je geworden, insbesondere da es immer mehr Rechtsstreitigkeiten gegen kommerzielle Betreiber gibt. Daher ist das Konzept der Dashcams sehr beliebt geworden. Wir haben uns mit Ambarella zusammengetan, um unsere Dashcam der nächsten Generation zu entwickeln. Eine wichtige Kennzahl für uns, wenn wir uns ihren Chip ansehen, ist die Inferenz pro Watt; Auch die Leistung im Verhältnis zu den Kosten war wichtig. Wir mussten Dinge wie die Tiefenerkennung mit einem einzigen Objektiv durchführen, was schwierig sein kann.“

Er sagte, dass der gesamte Prozess, von der Einführung bis zur heutigen Veröffentlichung der Dashcam, etwa 18 Monate gedauert habe. „Der größte Faktor für uns [um diese schnelle Markteinführung zu ermöglichen] war, einen Partner zu haben, der den gesamten Entwicklungsprozess unterstützen konnte. Sonst wäre es nicht möglich gewesen, so schnell auf den Markt zu kommen.“

Der Produktdirektor von KeepTruckin, Abhishek Gupta, fügte hinzu:„Der Entwicklersupport war äußerst nützlich, insbesondere da wir ihn während einer Pandemie aufgebaut haben, als viele Leute aus der Ferne arbeiteten.“

Ranganathan sagte, dass die KI-Dashcam von KeepTruckin die Edge-KI- und Bildverarbeitungsleistung von Ambarella nutzt, um fortschrittliche KI-basierte Funktionen bereitzustellen, die risikoreiches Verhalten mit hoher Genauigkeit und Effizienz erkennen. „Unsere kontinuierliche Innovation im Flottenmanagement wird durch die skalierbare Palette von CVflow AI Vision SoCs von Ambarella ermöglicht, die alle von einem gemeinsamen, robusten SDK unterstützt werden und einen Plattformansatz für unsere Produktentwicklung ermöglichen.“

Ian Riches, VP für Automotive Practice und Director bei Strategy Analytics, kommentierte die Analystenperspektive:„KeepTruckins Auswahl an Ambarella SoCs für seine neue AI Dashcam bietet eine leistungsstarke, kostengünstige und effiziente Plattform, auf der aufgebaut werden kann. Das Ökosystem von Ambarella bietet die erforderlichen Werkzeuge, um maßgeschneiderte KI-Lösungen zu entwickeln, die für seine Flottenkunden von Vorteil sind.“

Zu den vom CV22 aktivierten Front-ADAS-Funktionen gehören Warnungen für enges Folgen, Spurabweichungen, Vorwärtskollisionen, Geschwindigkeitsüberschreitungen und Verkehrsverstöße. Unter Verwendung desselben SoCs, das mehrere simultane neuronale Netzwerkmodelle ausführt, umfassen die DMS-Funktionen der Kabinenkamera die Überwachung auf Ermüdung des Fahrers, Ablenkung und Richtlinienverstöße wie kontextbezogene Handynutzung oder Sicherheitsgurtüberwachung in Kombination mit Daten von der Frontkamera.

Die AI Dashcam ist mit dem KeepTruckin Vehicle Gateway verbunden, das die vorab analysierten Daten, Videos und Standbilder in Echtzeit in die cloudbasierte Flottenmanagementsoftware von KeepTruckin hochlädt. Der CV22 SoC integriert den Bildsignalprozessor von Ambarella, der hochwertige HDR-Videos mit einer Auflösung von 1440p bei allen Lichtverhältnissen liefert und gleichzeitig die H.264/H.265-Codierung auf dem Chip nutzt, um die Übertragungsbandbreite und die Speicherkosten zu reduzieren.

KeepTruckin kann im Laufe der Zeit über drahtlose Software-Updates zusätzliche Funktionen auf den CV22 hochladen, um Kunden, die in die Plattform investieren, einen inkrementellen Mehrwert zu bieten. Darüber hinaus wird das Modelltraining von KeepTruckin immer präziser, da das interne Sicherheitsteam die Qualität in Echtzeit bewertet, zusätzlichen Risikokontext hinzufügt und Input liefert, der die Modelltrainings- und -entwicklungszyklen verkürzt.

Udit Budhia, Marketingdirektor bei Ambarella, sagte:„Für den Aftermarket ist dies wahrscheinlich das fortschrittlichste KI-Vision-Produkt für die Automobilindustrie. Wir haben ein schnelles Wachstum bei ADAS-Warnsystemen wie Spurverlassenswarnungen gesehen.“ Zu den Vorteilen des CV22 SoC in dieser Anwendung fügte er hinzu:„Eine Schlüsselkomponente ist der Bildsignalprozessor (ISP). Wir unterstützen verschiedene Sensortypen, einschließlich RGGB, RGB-IR, Monochrom, RCCB und RCCC, und unterstützen die HDR-Verarbeitung. Wir können Objekte in der Szene erkennen und haben auch eine Low-Light-Filterung, die zu weniger Rauschen und damit zu einer effizienteren Videoverarbeitung führt. Wir verbrauchen weniger Bandbreite und deutlich weniger DRAM.“

Zu den Tools sagte Budhia:„Unser Tool ermöglicht die gleichzeitige Entwicklung von Front- und Fahrerüberwachungskameras.“ Die Programmierbarkeit und Effizienz der CVflow-KI-Architektur von Ambarella ermöglicht eine signifikante Computer-Vision-Leistung bei sehr geringem Stromverbrauch, was die Zuverlässigkeit und Effizienz erhöht, um mehr Modelle parallel laufen zu lassen, was zu einer besseren Erkennung und Sichtbarkeit rundum führt. Sein komplettes Set an CV-Tools hilft Kunden wie KeepTruckin, ihre eigenen neuronalen Netzwerke zu portieren, und bietet Unterstützung für branchenübliche Machine-Learning-Frameworks wie PyTorch, ONNX, Caffe und TensorFlow.

>> Dieser Artikel wurde ursprünglich auf unserer Schwesterseite EE veröffentlicht Zeiten.

Verwandte Inhalte:

• Visionbasierte Fahrerüberwachungssysteme gewinnen an Bedeutung
• Unterbrechung von Missverständnissen über Fahrerüberwachungssysteme
• Ist das Nummerierungssystem der Fahrzeugautomatisierung nützlich?
• Bildsensoren bieten schärfere Bilder in der Kabine
• Die Schlüsseltechnologien, die uns der fahrerlosen Mobilität näher bringen

Für mehr Embedded, abonnieren Sie den wöchentlichen E-Mail-Newsletter von Embedded.