Edge AI Beschleunigung: Führende spezialisierte Prozessoren für 2024

KI- und Machine-Learning-Workloads verlagern sich zunehmend an den Edge, und eine wachsende Anzahl spezialisierter Prozessoren entsteht, um die vielfältigen Anforderungen dieser Anwendungen zu erfüllen. Von etablierten Großkonzernen bis zu agilen Startups – jede Lösung zielt auf spezifische Vertikale, Leistungsbudgets und Preispunkte ab. Im Folgenden ein kompakter Überblick der aktuellen Marktführer.

Applikationsprozessoren

Intel Movidius Myriad X

Ursprünglich vom irischen Startup Movidius entwickelt und 2016 von Intel übernommen, ist der Myriad X eine Vision Processing Unit (VPU) der dritten Generation, die eine dedizierte Neural-Network-Compute-Engine einführte. Er liefert 1 TOPS Deep-Neural-Network-Rechenleistung, unterstützt FP16- und INT8-Präzision und ist eng mit einem intelligenten Memory Fabric gekoppelt, um Datentransfer-Flaschenhälse zu eliminieren. Der Chip beherbergt 16 proprietäre SHAVE-Kerne und eine erweiterte Suite von Vision-Beschleunigern. Er ist in Intels Neural Compute Stick 2 verfügbar – einer Plug-and-Play-USB-Evaluierungsplattform, die schnelle Bereitstellung von KI- und Computer-Vision-Workloads auf jeder Workstation ermöglicht.

NXP Semiconductors i.MX 8M Plus

Der i.MX 8M Plus ist ein heterogener Applikationsprozessor mit einem dedizierten Neural-Network-Accelerator von VeriSilicon (Vivante VIP8000). Er bietet 2,3 TOPS für Inferenz, unterstützt Aufgaben wie Multi-Objekt-Erkennung, 40.000-Wort-Spracherkennung oder MobileNet v1 bei 500 Bildern/Sekunde. Ergänzt wird der Accelerator durch ein Quad-Core Arm Cortex-A53 Subsystem mit 2 GHz und ein Cortex-M7 Echtzeit-Subsystem. Die Vision-Unterstützung umfasst zwei High-Definition Image Signal Processor für Stereo- oder einzelne 12-MP-Kameras, während ein 800 MHz HiFi4 DSP Sprach-Pre- und Post-Processing übernimmt.

NXPs i.MX 8M Plus ist der erste Applikationsprozessor des Unternehmens mit dediziertem Neural-Network-Accelerator, maßgeschneidert für IoT-Szenarien. (Bild: NXP Semiconductors)

XMOS xcore.ai

Der xcore.ai vereint Applikationsprozessor-Leistung mit Mikrokontroller-Echtzeit-Effizienz und zielt auf sprachgesteuerte AIoT-Geräte. Basierend auf XMOS' proprietärer Xcore-Architektur umfasst der Chip 16 logische Kerne, die für I/O, DSP, Steuerung oder KI-Funktionen alloziert werden können – effektiv ein software-definiertes SoC. Er unterstützt 32-Bit-, 16-Bit-, 8-Bit- und 1-Bit-(binarisierte) neuronale Netze, liefert 3.200 MIPS, 51,2 GMACCs und 1.600 MFLOPS. Mit 1 MB eingebettetem SRAM und einem Low-Power-DDR-Interface eignet er sich gut für kompakte, latenzarme Sprachverarbeitungs-Workloads.

XMOS' xcore.ai ist eine proprietäre, vielseitige Plattform, konzipiert für sprachzentrierte KI-Workloads. (Bild: XMOS)

Automotive SoC

Texas Instruments Inc. TDA4VM

Teil der Jacinto-7-Serie, ist der TDA4VM TIs erster SoC mit integriertem Deep-Learning-Accelerator. Der Accelerator baut auf dem C7x DSP-Kern und einem benutzerdefinierten Matrix-Multiply-Accelerator (MMA) auf und erreicht bis zu 8 TOPS. Für ADAS konzipiert, kann er einen 8-MP-Frontkamera-Stream oder mehrere 3-MP-Kameras plus Radar, LiDAR und Ultraschall-Eingänge verarbeiten – ermöglicht Sensorfusion für autonomes Parken und andere fortschrittliche Fahrerassistenzfunktionen. Ausgelegt für 5–20 W Leistungsbudgets, ist der TDA4VM als Pre-Production Development Kit verfügbar.

TIs TDA4VM treibt komplexe Automobil-ADAS-Systeme an, liefert Wahrnehmung und Sensorfusion auf einem Chip. (Bild: Texas Instruments Inc.)

GPU

Nvidia Corp. Jetson Nano

Nvidias Jetson Nano bringt einen 128-Kern-Maxwell-GPU und einen Quad-Core Arm Cortex-A57 CPU an Edge-Geräte. Mit 0,5 TFLOPS kann das Modul mehrere neuronale Netze auf hochauflösenden Bildströmen ausführen und verbraucht dabei nur 5 W. Es integriert CUDA X, Nvidias Suite von Neural-Network-Beschleunigungsbibliotheken, und ist in kosteneffizienten Development Kits erhältlich.

Nvidias Jetson Nano liefert eine leistungsstarke GPU für KI am Edge in kompaktem, stromsparendem Formfaktor. (Bild: Nvidia Corp.)

Consumer Co-Prozessoren

Kneron Inc. KL520

Der KL520 ist ein dedizierter Neural-Network-Prozessor für Bildverarbeitung und Gesichtserkennung in Smart Homes, Sicherheitssystemen und mobilen Geräten. Optimiert für Convolutional Neural Networks, liefert er 0,3 TOPS bei 0,5 W (≈0,6 TOPS/W) mit über 90 % MAC-Effizienz. Seine rekonfigurierbare Architektur und ein Compiler, der Kompression anwendet, ermöglichen größere Modelle innerhalb der Chip-Ressourcen, was Stromverbrauch und Kosten reduziert. Der KL520 ist in der AAEON M2AI-2280-520 Accelerator Card verfügbar.

Knerons KL520 kombiniert rekonfigurierbares Design mit Kompressionstechniken für effiziente mobile Bildverarbeitung. (Bild: Kneron Inc.)

Gyrfalcon Lightspeeur 5801

Für Consumer Electronics konzipiert, erreicht der Lightspeeur 5801 2,8 TOPS bei 224 mW (≈12,6 TOPS/W) mit 4 ms Latenz, dank einer Processor-in-Memory-Architektur, die hervorragende Energieeffizienz bietet. Seine 10 MB On-Chip-Memory beherbergen komplette Modelle, und die Taktfrequenz lässt sich zwischen 50 MHz und 200 MHz einstellen, um Leistung gegen Stromverbrauch abzuwägen. Der 5801 treibt LGs Q70 Mittelklasse-Smartphone an, übernimmt Inferenz für Kameraeffekte, und ist als USB-Thumb-Drive Development Kit verfügbar.

Ultra-Low-Power

Eta Compute ECM3532

Der ECM3532 ist für batteriebetriebene oder Energy-Harvesting-IoT-Geräte ausgelegt, die Always-On-Inferenz benötigen. Er koppelt einen Arm Cortex-M3 Mikrocontroller mit einem NXP CoolFlux DSP und nutzt eine proprietäre Spannungs-/Frequenz-Skalierungstechnik, die den Stromverbrauch auf pro-Taktzyklus-Basis optimiert. Machine-Learning-Workloads – insbesondere Sprachaudgaben – können auf beiden Kernen laufen. Samples sind verfügbar, Massenproduktion geplant für Q2 2020.

Syntiant Corp. NDP100

Der NDP100 ist ein Processor-in-Memory-Silizium für Sprachbefehl-Inferenz unter strengsten Strombudgets. Mit weniger als 140 µW Aktivstrom unterstützt er Keyword Spotting, Wake-Word-Erkennung, Sprecheridentifikation und Event-Klassifikation. Er ist bestimmt für freihändige Consumer-Geräte wie Earbuds, Hörgeräte, Smartwatches und Fernbedienungen, Development Kits sind verfügbar.

Syntiants NDP100 liefert ultra-energiesparende Sprachverarbeitung für Consumer IoT. (Bild: Syntiant Corp.)

GreenWaves Technologies GAP9

Der GAP9 ist ein ultra-energiesparender Applikationsprozessor mit neun RISC-V-Kernen und einem benutzerdefinierten Instruction Set für Energieeffizienz. Er umfasst bidirektionale Multi-Channel-Audio-Interfaces und 1,6 MB internen RAM. GAP9 kann MobileNet V1 auf 160×160 Bildern in 12 ms ausführen, während er nur 806 µW pro Frame verbraucht – ideal für batteriebetriebene Bild-, Audio- und Vibrationssensorik-Anwendungen.