KI-Vision-Prozessor ermöglicht 8K-Video mit 30 Bildern pro Sekunde in weniger als 2 W

Mit der CES 2021 als Startplattform hat Ambarella sein Vision Processor System on Chip (SoC) der fünften Generation mit künstlicher Intelligenz (KI) angekündigt, das einen neuen Standard für die Energieeffizienz setzt. Sein CV5 AI Vision CVflow-Prozessor, der in einem fortschrittlichen 5nm-Prozess von Samsung hergestellt wird, ermöglicht die Codierung von 8K-Videos mit 30 Bildern pro Sekunde in weniger als 2 Watt, was für intelligente Kamerasysteme in Automobil-, Verbraucher- (einschließlich Drohnen) und Roboterkameras von Bedeutung ist.

Der neue CV5 kombiniert die CVflow-KI-Engine von Ambarella mit zwei ARM-A76-CPUs, um die erforderliche Leistung für eine Vielzahl von KI-basierten Algorithmen bereitzustellen. Der Bildsignalprozessor (ISP) ermöglicht die Eingabe von bis zu 14 Kameras und kann gleichzeitig Bilder sowohl für die menschliche Betrachtung als auch für die maschinelle Verarbeitung verarbeiten. In einem Briefing mit embedded.com sagte Chris Day, Vice President of Marketing and Business Development bei Ambarella:„Dies ist unsere fünfte Generation von Bildprozessoren mit separater Verarbeitung für Video und KI. Es ist der erste 5-nm-Chip, der einen niedrigen Stromverbrauch ermöglicht, der für viele Anwendungen entscheidend ist, insbesondere in Sportkameras.“

Er fügte hinzu:„Wir arbeiten eng mit der Samsung-Fabrik zusammen und haben eines der besten VLSI-Designteams der Branche. Das bedeutet, dass wir aufgrund unserer engen Zusammenarbeit mit Samsung einen guten frühen Zugang zu den Prozessbibliotheken haben.“

In Fahrzeug-Videotelematikanwendungen bietet CV5 die erforderliche Leistung, um mehrere Videostreams von Front-Advanced-Fahrerassistenzsystemen (ADAS), Fahrerüberwachung, Kabinenüberwachung und Seitenansichtskameras zu codieren. Seine CVflow-KI-Engine kann gleichzeitig ADAS-Algorithmen wie Spurverlassen und Vorwärtskollisionswarnung sowie Fahrerüberwachungsalgorithmen wie die Erkennung von schläfrigen Fahrern ausführen. Die Kombination aus hochauflösender Videoaufnahme mit fortschrittlicher KI-Verarbeitung ermöglicht es ADAS-Kameras, Bilder über große Entfernungen und mit hoher Genauigkeit zu erkennen.

Day sagte, dass das anfängliche Interesse am Automobilmarkt liegt, da dieses Segment etwa 20 % des Geschäfts von Ambarella ausmacht.

Der niedrige Stromverbrauch des CV5-SoC macht ihn auch für hochauflösende Action-, 360°- und Virtual-Reality-(VR)-Kameras der nächsten Generation geeignet und bietet 8K-Aufzeichnung und -Wiedergabe in sehr kleinen Formfaktor-Designs. Insbesondere verfügt es auch über Funktionen wie On-Chip-Bildstabilisierung und Stitching, die für VR-Kameras geeignet sind.

In Roboter- und Drohnenanwendungen kann die CVflow-KI-Engine von CV5 die simultane Lokalisierung und Kartierung (SLAM), die Pfadplanung und die Hinderniserkennung sowie die Vermeidungsalgorithmen für die Navigation und den autonomen Betrieb beschleunigen. Für drohnenbasierte Luftvideoaufnahmen und -kinematographie kann CV5 gleichzeitig Flugsteuerungs- und Navigationsfunktionen ausführen und gleichzeitig Videoaufnahmen mit einer Auflösung von bis zu 8K mit 60 Bildern pro Sekunde aufnehmen.

Day kommentierte, dass der CV5 für zwei Bereiche auf dem Drohnenmarkt besonders gut geeignet ist:Zum einen die Verbesserung der Videografie, zum anderen das Hinzufügen von Computer Vision und KI für Dinge wie die Objekterkennung.

Bei all den verschiedenen Anwendungen, sagte Day, ist der Hauptvorteil des CV5 die Möglichkeit, 8K-Aufzeichnungen in allen Märkten hinzuzufügen. Er sagte auch, dass dies das erste Mal ist, dass das Unternehmen die PCIe-Schnittstelle auf dem Chip integriert und damit Konnektivitätsoptionen eröffnet. Während der anfängliche Fokus auf Automobil-, Sportkameras, Drohnen und VR-Kameras liegt, erwartet er noch in diesem Jahr Versionen von CV5 für Sicherheit und Überwachung

Das neue SoC teilt gemeinsame SDK- und Computer Vision (CV)-Tools mit den anderen CVflow-SoC-Familien von Ambarella und vereinfacht die Entwicklung von Kameras mit mehreren Preis- und Leistungsoptionen. Ein vollständiger Satz von CV-Tools hilft Kunden, ihre eigenen neuronalen Netze auf CV5 zu portieren, einschließlich eines Compilers, Debuggers und Unterstützung für branchenübliche Machine-Learning-Frameworks wie PyTorch, ONNX, Caffe und TensorFlow sowie umfangreiche Richtlinien für Convolutional Neural Optimierung der Netzwerkleistung (CNN).

Zu den Hauptfunktionen des CV5-SoC gehören:

• CVflow-Architektur mit DNN-Unterstützung
• Dual-Core-Arm Cortex-A76 bis zu 1,6 GHz mit NEON DSP-Erweiterungen und FPU
• Hochgeschwindigkeits-SLVS-EC, MIPI-CSI (C/D PHY)-Schnittstellen zum Anschluss von bis zu 14 Kameras
• Mehrkanal-ISP mit bis zu 8KP60 Durchsatz
• Native Unterstützung für RGGB-, RCCB-, RCCC-, RGB-IR- und Monochrom-Sensorformate
• Multi-Exposure High Dynamic Range (HDR)-Verarbeitung
• Hardware-beschleunigte Fischaugen-Entzerrung in Echtzeit und Linsenverzerrungskorrektur (LDC)
• AVC- und HEVC-Kodierung mit bis zu 8KP60 Durchsatz und Unterstützung für mehrere Streams
• Umfangreiches Schnittstellenset umfasst 4-Lane-PCIe, CAN FD, Gigabit Ethernet, USB 3.1-Host und -Gerät, drei SD-Karten-Controller, MIPI DSI/CSI-2- und HDMI-Videoausgänge
• LPDDR4x / LPDDR5 / LPDDR5x-Unterstützung, 64-Bit-Datenbus und bis zu 32 GB Kapazität
• Sicherheitsfunktionen wie sicheres Booten mit TrustZone und sicherem Speicher, TRNG, OTP, DRAM-Verschlüsselung und Virtualisierung
• 5-nm-Prozesstechnologie
• 16×16 FBGA-Gehäuse mit 0,5 mm Kugelabstand