Renesas & Syntiant starten Low-Power Sprachgesteuerte Vision-KI für eingebettete IoT-Systeme

Renesas Electronics Corporation und Syntiant Corp. haben sich zusammengeschlossen, um eine stromsparende, sprachgesteuerte multimodale KI-Plattform zu schaffen, die kontaktlose Bildverarbeitung für eingebettete Vision-KI IoT- und Edge-Anwendungen liefert.

Integration von RZ/V MPU und NDP120

Die Integration von Renesas’ RZ/V Series Vision-KI Mikroprozessor (MPU) mit Syntiants ultra-stromsparendem NDP120 Neural Decision Prozessor liefert fortschrittliche Sprach- und Bildverarbeitung für Anwendungsfälle von Self-Checkout-Kiosken und Sicherheitskameras bis hin zu Videokonferenzsystemen und smarten Geräten wie Saugroboter.

Always-On Modus und Sprachauslösung

Die gemeinsame Lösung bietet einen Always-On-Modus, der schnelles sprachausgelöstes Aufwachen aus dem Standby ermöglicht und Objekterkennung, Gesichtserkennung sowie andere vision-basierte Aufgaben für Sicherheitskameras und ähnliche Systeme erlaubt. Benutzerdefinierte Sprachbefehle initiieren Aktivierung und Betrieb, während die Vision-KI das Betreiberverhalten verfolgt und Operatoren bei verdächtigen Aktivitäten alarmieren kann.

Architekturvorteile

Durch die Separierung der Spracherkennung auf einen dedizierten, stromsparenden Chip reduziert die Architektur den Standby-Stromverbrauch und beschleunigt die Entwicklung. Entwickler können Sprach- und Vision-Komponenten unabhängig programmieren, was die Integration vereinfacht.

Renesas RZ/V Series mit DRP-AI

Der Renesas RZ/V Series MPU integriert den DRP-AI (dynamisch rekonfigurierbaren Prozessor-KI) Beschleuniger, der hochpräzise Inferenz mit Energieeffizienz kombiniert, die Renesas als branchenführend bezeichnet. Diese Leistung macht Kühlkörper oder Lüfter überflüssig, senkt BOM-Kosten und ermöglicht Vision-KI-Integration in einer breiten Palette eingebetteter Anwendungen. DRP-AI besteht aus AI-MAC und DRP Kernen, die Convolutional- und Fully-Connected-Layer effizient durch Optimierung des Datenflusses mit internen Switches handhaben. Der DRP kann dynamisch rekonfiguriert werden, um komplexe Aufgaben wie Bildvorverarbeitung und KI-Modell-Pooling-Layer schnell zu verarbeiten. Ein DRP-AI Translator bildet KI-Modelloperationen automatisch auf die passende Hardware ab, sodass Entwickler DRP-AI ohne detaillierte Hardwarekenntnisse nutzen können. Mehrere Executables können im externen Speicher residieren, was dynamisches Umschalten zwischen KI-Modellen zur Laufzeit ermöglicht, und der Translator kann aktualisiert werden, um neue Modelle ohne Hardwareänderungen zu unterstützen.

Syntiant NDP120 Chip

Der Syntiant NDP120 Chip beinhaltet fortschrittliche KI-Fähigkeiten, die hochpräzise, freihändige Sprachfunktionen unterstützen, einschließlich Sprechererkennung, Keyword-Erkennung, mehrere Wake-Words und lokale Befehlserkennung. Gepaart mit der Syntiant Core 2 Neural-Network-Inferenz-Engine kann der NDP120 mehrere Anwendungen gleichzeitig ausführen, während er nur 1 mW Batteriestrom verbraucht.

Statements der Führungskräfte

Hiroto Nitta, Senior Vice President und Leiter SoC Business in der IoT und Infrastructure Unit bei Renesas, sagte: „Wir erwarten, dass die Nachfrage nach multimodalen Systemen, die mehrere Eingabeströme – sowohl Bild als auch Sprache – nutzen, zunehmen wird, um sowohl Benutzerfreundlichkeit als auch Sicherheit zu verbessern.“ Er fügte hinzu: „Durch die Zusammenarbeit zwischen Renesas, einem Führer in Low-Power Bild-KI-Technologie, und Syntiant, einem Führer in Sprach-KI-Technologie, werden wir die Einführung von Low-Power, ultra-kleiner Smart Voice KI-Technologie in eingebetteten Systemen beschleunigen und neue kombinierte Lösungen weltweit an Kunden liefern.“

Syntiant CEO Kurt Busch bemerkte: „Sprachbasierte Benutzeroberflächen ermöglichen es Kunden, neue Nutzererfahrungen zu liefern, die die nächste Generation innovativer Ideen von Konzept zur Realität bringen. Wir haben bereits mehr als 15 Millionen unserer Deep-Learning NDPs weltweit ausgeliefert, um Always-On Voice in einer Vielzahl von Consumer- und Industrial-IoT-Anwendungen zu ermöglichen. Unsere Zusammenarbeit mit Renesas liefert eine leistungsstarke, stromsparende Sprach- und Bildlösung, die sicherlich die Akzeptanz bei einer globalen Kundenbasis in verschiedenen Geräten und Anwendungsfällen beschleunigen wird.“

Die neue sprachgesteuerte multimodale KI-Lösung nutzt mehrere kompatible Geräte aus Renesas’ breiterem Portfolio und bietet Kunden eine erweiterte Prototyping-Plattform für schnelleren Time-to-Market und reduziertes Risiko. Als Teil von Renesas’ „Winning Combinations“, die überzeugende Analog-, Power- und Embedded-Processing-Produkte paaren, hilft die Lösung Kunden, Design zu beschleunigen und neue Produkte schneller zu lancieren.

Ein Referenzdesign für die multimodale KI-Lösung, einschließlich Schaltplänen und BOM-Listen, ist jetzt verfügbar.