Ambarella, Lumentum und ON Semiconductor arbeiten gemeinsam an KI-basierter 3D-Erkennung für AIoT-Geräte der nächsten Generation

Ambarella, ein KI-Vision-Siliziumunternehmen, Lumentum, ein Designer und Hersteller innovativer optischer und photonischer Produkte, und ON Semiconductor, ein Anbieter von CMOS-Bildsensorlösungen, haben sich zusammengeschlossen, um zwei neue gemeinsame Referenzdesigns zu entwickeln, von denen sie sagen, dass sie „ Beschleunigung der Bereitstellung von Geräten mit künstlicher Intelligenz in allen Branchen“.

Die Designs bauen auf der früheren gemeinsamen Lösung der Unternehmen für kontaktlose Zugangssysteme auf.

Durch die Kombination der Daten der leistungsstarken VCSEL-Array-Illuminatoren von Lumentum und eines Bildsensors von ON Semiconductor mit dem KI-SoC von Ambarella können in AIoT-Geräten der nächsten Generation für die biometrische Zugangskontrolle und elektronische 3D-Schlösser ein höheres Maß an Genauigkeit und eine intelligentere Entscheidungsfindung erreicht werden und andere intelligente Sensoranwendungen.

Diese neuen Referenzdesigns, die ursprünglich für die biometrische Zugangskontrolle und elektronische Schlösser gedacht waren, können auch die Anforderungen von Smart Cities, Smart Buildings, Smart Homes und intelligenter Gesundheitsversorgung erfüllen.

Darüber hinaus senkt der hohe Integrationsgrad dieser gemeinsamen Lösungen den Stromverbrauch des Systems und die Anforderungen an das thermische Design erheblich, während gleichzeitig viel kleinere Produktformfaktoren ermöglicht werden.

Fermi Wang, President und CEO von Ambarella, sagt:„Ambarellas Vision ist es, die KI-Verarbeitung mit 3D und visueller Sensorik zu kombinieren, um eine umgebungsintelligente Zukunft zu schaffen.

„Diese Zusammenarbeit mit Lumentum und ON Semiconductor wird die Konvergenz von KI und IoT weiter vorantreiben, um eine neue Generation von Zugangskontrollsystemen zu ermöglichen, und gleichzeitig neuartige Kategorien von Umgebungssensorprodukten inspirieren – alle angetrieben durch die Fusion von Sensoren mit KI-Bildverarbeitungsprozessoren, die intelligent interagieren und unauffällig mit Menschen, um ihre sich ständig weiterentwickelnden Bedürfnisse zu erfüllen.“

Téa Williams, Senior Vice President und General Manager, 3D Sensing bei Lumentum, sagt:„Unsere neuen gemeinsamen Lösungen werden die Genauigkeit von AIoT-Geräten in allen Anwendungsbereichen – angefangen bei der biometrischen Zugangskontrolle und elektronischen Schlössern – erheblich steigern, sodass sie Personen erkennen und vorhersagen können ihre Bedürfnisse, anstatt eine direkte menschliche Schnittstelle zu erfordern.

„Viele dieser Anwendungen werden die Vorteile der 3D-Erfassung nutzen, um eine neue Dimension der Dateneingabe für eine verbesserte Entscheidungsfindung zu schaffen. Beispielsweise ermöglicht die Verwendung einer VCSEL-basierten Punktbeleuchtung mit höherer Auflösung größere Erfassungsbereiche und eine genauere Gesichtserkennung.

„Die branchenführenden und leistungsstarken VCSEL-Arrays von Lumentum ohne Feldausfälle, die in diesen gemeinsamen Lösungen verwendet werden, treiben neue Anwendungen voran und tragen dazu bei, den Traum von AIoT-Geräten mit 3D-Erfassungsfunktionen zu verwirklichen.“

Gianluca Colli, Vice President und General Manager, Industrial and Consumer Sensor Division (ICSD) Group bei ON Semiconductor, sagt:„Bildsensoren sind die Augen für intelligente Sensorgeräte. Ihre Fähigkeit, mit mehr Details weiter zu sehen, liefert deutlich mehr Informationen für die Entscheidungsfindung des KI-Prozessors in AIoT-Geräten.

„Unsere branchenführende RGB-IR-Sensortechnologie kann in Kombination mit den fortschrittlichen ISP-Fähigkeiten der AI-Vision-SoCs von Ambarella sowohl sichtbare als auch IR-Bilder gleichzeitig in Geräte bringen. Für diese zweite Generation unserer gemeinsamen Lösungen haben wir das Kundenfeedback genutzt, um die Auflösung unserer RGB-IR-Bildsensoren auf 4K (8 MP) zu vervierfachen.“

Die neuen gemeinsamen AIoT-Lösungen der drei Unternehmen bestehen aus zwei Referenzdesigns und zusätzlichen Entwicklungskits für 3D-Sensorik, die jeweils einzigartig konfiguriert sind, um anwendungsspezifische Anforderungen für die Kombination von KI-Verarbeitung, 3D-Tiefensensorik und Visionssensorik zu erfüllen:

Das Vision+-Referenzdesign, das auf biometrische Zutrittskontrollleser der nächsten Generation ausgerichtet ist, ist die erste 4K-Lösung der AIoT-Branche, die eine 940-nm-Streifenlichterkennung mit einer Kamera auf Basis der RGB-IR-Technologie durchführt.

Es ist auch das erste, das eine Single-Chip-Lösung für Tiefenverarbeitung, KI-Verarbeitung und Videoverarbeitung nutzt. Basierend auf dem Ambarella CV22 CVflow AI-Bildverarbeitungsprozessor umfasst es eine Einzelkamera-Streifenlichterkennung, die von der VCSEL-Technologie von Lumentum unterstützt wird, mit einer Reichweite von 2 Metern und einem 4K (8 MP) RGB-IR-CMOS-Bildsensor von ON Semiconductor. P>

Das Saturn-Referenzdesign, das auf intelligente elektronische Türschlösser oder eLocks der nächsten Generation für gewerbliche und private Anwendungen ausgerichtet ist, ist das erste der AIoT-Branche, das KI-Verarbeitung sowohl für die Streifenlichterkennung mit einer Kamera als auch für die Fast-Boot-Videoverarbeitung integriert.

Es basiert auf dem Vision-Prozessor Ambarella CV25 CVflow AI und umfasst eine Kamera mit strukturiertem Licht, die von der VCSEL-Technologie von Lumentum und dem AR0237CS 2MP RGB-IR-Bildsensor von ON Semiconductor angetrieben wird.

Die auf intelligenten Sensoranwendungen ausgerichteten und branchenübergreifenden Möglichkeiten bieten Ambarellas Entwicklungskits auf CVflow-KI-Vision-Prozessor-basierter CV2-Serie, die jetzt mit ToF-Sensoradaptern ausgestattet werden können, die von Lumentums hochmodernen VCSEL-Arrays angetrieben werden. Für diese Kits ist auch ein optionaler 4K-RGB-IR-Bildsensoradapter erhältlich.

Das offene Softwareentwicklungskit (SDK) für die CVflow-KI-Bildverarbeitungsprozessoren von Ambarella ermöglicht die einfache Integration von Anwendungen von Drittanbietern und versetzt OEMs in die Lage, unterschiedliche regionale Anforderungen mit einer einzigen Plattform zu erfüllen (z. B. die Verwendung unterschiedlicher KI-Algorithmen in verschiedenen Regionen). P>

Darüber hinaus erweitert dieses robuste, Linux-basierte SDK die Fähigkeiten von Edge-Sensing-Geräten, vereinfacht die Produktentwicklung und verkürzt die Markteinführungszeit durch:

• Fähigkeiten zur Entwicklung benutzerdefinierter Anwendungen
• Unterstützung für verschiedene 3D-Modalitäten, einschließlich strukturiertem Licht und ToF. Einzigartig ist, dass ein einzelnes Ambarella SoC eine 3D-Erfassungsverarbeitung bereitstellt, ohne dass ein dedizierter Tiefenprozessor oder ein separater Host-Prozessor erforderlich ist
• Hohe KI-Inferenzfähigkeiten auf dem Kameragerät, um den gleichzeitigen Betrieb mehrerer neuronaler Netzwerke zu ermöglichen
• Robuste KI-Tools zur Unterstützung der Entwicklung und Migration tiefer neuronaler Netzwerke
• Integrierter ISP zur Bewältigung anspruchsvoller Szenen, einschließlich Szenarien mit hohem Dynamikbereich und wenig Licht
• Integrierte ARM-Prozessoren zum Ausführen von Kundenanwendungen
• Integrierte Sicherheitshardware, einschließlich Secure Boot, OTP zum Speichern von Verschlüsselungsschlüsseln und Arm TrustZone-Technologie für sichere Vergleiche von Verschlüsselungsschlüsseln
• Umfangreiche Unterstützung für Peripherieschnittstellen zur Vereinfachung des Systemdesigns

Verfügbarkeit

Diese gemeinsamen Referenzdesigns und Entwicklungskits werden voraussichtlich im Juni verfügbar sein. Weitere Informationen erhalten Sie von Ambarella.