Renesas und Syntiant bieten gemeinsame KI-Lösung für sprachgesteuertes Sehen an

Renesas Electronics Corporation und Syntiant Corp., ein Anbieter von stromsparender intelligenter Sprach- und Sensorverarbeitung in Edge-Geräten, haben gemeinsam eine sprachgesteuerte multimodale künstliche Intelligenz (KI)-Lösung entwickelt, um einen stromsparenden kontaktlosen Betrieb für die Bildverarbeitung in Embedded Vision zu ermöglichen KI-basiertes Internet der Dinge (IoT) und Edge-Systeme.

Die neue Lösung kombiniert die KI-Mikroprozessoreinheit (MPU) der Vision-AI-Mikroprozessoreinheit (MPU) von Renesas und den multimodalen neuronalen Entscheidungsprozessor Syntiant NDP120 mit geringem Stromverbrauch, um fortschrittliche Sprach- und Bildverarbeitungsfunktionen in Anwendungen wie Self-Checkout-Automaten, Sicherheitskameras, Video bereitzustellen Konferenzsysteme und intelligente Geräte wie Reinigungsroboter.

Die gemeinsame Lösung bietet eine Always-On-Funktionalität mit schneller sprachgesteuerter Aktivierung aus dem Standby-Modus, um Objekterkennung, Gesichtserkennung und andere bildbasierte Aufgaben durchzuführen, die kritische Funktionen in Sicherheitskameras und anderen Systemen sind. Während beispielsweise benutzerdefinierte Sprachhinweise die Aktivierung und den Systembetrieb steuern, verfolgt die KI-Vision-Erkennung das Verhalten des Bedieners und steuert den Betrieb oder gibt eine Warnung aus, wenn verdächtige Aktionen erkannt werden.

Die multimodale Architektur macht es einfacher, kontaktlose Benutzererlebnisse für Vision-KI-basierte Systeme zu schaffen. Die Verwendung eines dedizierten, energieeffizienten Chips für die Spracherkennung reduziert den Standby-Stromverbrauch und beschleunigt gleichzeitig die Systementwicklung, da es möglich ist, Software unabhängig von der Vision-KI-Funktionalität zu entwickeln.

Die MPU der RZ/V-Serie von Renesas enthält den DRP-AI-Beschleuniger (Dynamic Reconfigurable Processor-AI) von Renesas und kombiniert hochpräzise KI-Inferenz mit einer Energieeffizienz, die laut Renesas zu den besten der Branche gehört. Diese überlegene Leistungsleistung macht Wärmeableitungsmaßnahmen wie Kühlkörper oder Kühllüfter überflüssig, was die Stücklistenkosten (BOM) reduziert und die Integration von Vision AI in eine Vielzahl von Embedded-Anwendungen ermöglicht. DRP-AI besteht aus AI-MAC und DRP (dynamisch rekonfigurierbarer Prozessor), die Operationen in Faltungs- und Kombinationsschichten effizient verarbeiten können, indem sie den Datenfluss mit internen Switches optimieren. Das DRP kann komplexe Verarbeitungen wie Bildvorverarbeitung und KI-Modell-Pooling-Layer flexibel und schnell verarbeiten, indem es die Hardwarekonfiguration dynamisch ändert. Der mitgelieferte DRP-AI-Übersetzer ordnet automatisch jeden Prozess des AI-Modells dem AI-MAC und DRP zu und ermöglicht so dem Benutzer die einfache Verwendung von DRP-AI, ohne sich der Hardware bewusst zu sein. Mehrere ausführbare Dateien, die vom DRP-AI-Übersetzer ausgegeben werden, können im externen Speicher abgelegt werden. Dadurch ist es möglich, dynamisch zwischen mehreren KI-Modellen als System zu wechseln. Darüber hinaus kann der DRP-AI-Übersetzer kontinuierlich aktualisiert werden, um neu entwickelte AI-Modelle ohne Hardwareänderungen zu unterstützen.

Der Syntiant NDP120-Chip enthält ausgeklügelte KI-Funktionen, mit denen viele hochpräzise Freisprechfunktionen implementiert werden können, darunter Sprechererkennung, Schlüsselworterkennung, mehrere Aktivierungswörter und lokale Befehlserkennung. Ausgestattet mit der Syntiant Core 2-Inferenz-Engine für neuronale Netzwerke kann der NDP120 auch mehrere Anwendungen gleichzeitig ausführen und gleichzeitig den Stromverbrauch auf 1 mW Batterieleistung minimieren.

Hiroto Nitta sagte für Renesas:„Wir gehen davon aus, dass die Nachfrage nach multimodalen Systemen, die mehrere Ströme von Eingabeinformationen – sowohl Bild als auch Sprache – verwenden, in Zukunft zunehmen wird, um sowohl die Benutzerfreundlichkeit als auch die Sicherheit zu verbessern.“ Nitta, Senior Vice President und Leiterin des SoC-Geschäfts im Geschäftsbereich IoT und Infrastruktur, fügte hinzu:„Durch die Zusammenarbeit zwischen Renesas, einem führenden Anbieter von stromsparender Bild-KI-Technologie, und Syntiant, einem führenden Anbieter von Sprach-KI-Technologie, werden wir beschleunigen die Einführung der stromsparenden, ultrakleinen Smart-Voice-KI-Technologie in eingebetteten Systemen und liefern neue kombinierte Lösungen für Kunden weltweit.“

Kurt Busch, CEO von Syntiant, sagte:„Sprachbasierte Benutzeroberflächen werden es den Kunden ermöglichen, neue Benutzererfahrungen bereitzustellen, die die nächste Generation innovativer Ideen vom Konzept in die Realität umsetzen. Wir haben bereits mehr als 15 Millionen unserer Deep-Learning-NDPs weltweit ausgeliefert, um eine ständig verfügbare Sprache in einer Vielzahl von Verbraucher- und industriellen IoT-Anwendungen zu ermöglichen. Unsere Zusammenarbeit mit Renesas liefert eine leistungsstarke Sprach- und Bildlösung mit geringem Stromverbrauch, die die Anziehungskraft bei einem globalen Kundenstamm in einer Vielzahl von Geräten und Anwendungsfällen mit Sicherheit beschleunigen wird.“

Die neue sprachgesteuerte multimodale KI-Lösung verwendet mehrere miteinander kompatible Geräte aus dem breiteren Renesas-Portfolio, um Kunden eine erweiterte Prototyping-Plattform für eine schnellere Markteinführung und ein geringeres Risiko bereitzustellen. Die neue Lösung ist Teil der „gewinnenden Kombinationen“ von Renesas, die überzeugende Kombinationen von Analog-, Leistungs- und Embedded-Processing-Produkten bieten, die Kunden helfen, ihre Designs zu beschleunigen und schneller auf den Markt zu kommen.

Das Referenzdesign für die neue multimodale KI-Lösung ist ab sofort verfügbar, inklusive Schaltpläne und Stücklisten.