KI-Chip unterstützt Inferenz in Geräten mit extrem geringem Stromverbrauch

LONDON – Die nächste Generation des Ultra-Low-Power-KI-Beschleunigers von GreenWaves, GAP9, wird fünfmal weniger Strom verbrauchen als sein Vorgänger GAP8 und gleichzeitig 10x größere Algorithmen verarbeiten. Das neue Gerät bietet bis zu 50 GOPS bei einer Gesamtleistungsaufnahme von 50 mW. Dies ist auf eine Kombination aus Architekturverbesserungen und einer neuen hochmodernen FD-SOI-Prozesstechnologie (Full Depleted Silicon on Insulator) zurückzuführen.

Wie das Gerät der vorherigen Generation zielt GAP9 auf KI-Inferencing in Systemen am äußersten Rand des Netzwerks ab, wie beispielsweise kleine, batteriebetriebene IoT-Sensorknoten. Die Zahlen von GreenWaves zeigen beispielsweise, dass GAP9 MobileNet V1 auf 160 x 160 Bildern mit einer Kanalskalierung von 0,25 in nur 12 ms bei einem Stromverbrauch von 806 μW/Frame/Sekunde ausführt.

GreenWaves mit Sitz in Grenoble, Frankreich, hat sich für den 22-nm-FDX-FD-SOI-Prozess von GlobalFoundries entschieden, um den Stromverbrauch einer bereits extrem stromsparenden Architektur zu minimieren.

„Für GAP9 haben wir die GAP8-Architektur anhand von Kundenfeedback zu GAP8 optimiert, aber gleichzeitig auf einen marktführenden Halbleiterprozess umgestellt“, sagte Martin Croome, Vice President of Marketing bei GreenWaves. „Wir nutzen die Body-Biasing-Fähigkeit in FD-SOI, um einen noch geringeren Stromverbrauch zu erreichen.“

Architekturverbesserungen

GreenWaves hat mehrere architektonische Fortschritte für GAP9 gemacht.

Ein weiterer RISC-V-Kern wurde hinzugefügt, wodurch sich die Gesamtzahl auf 10 erhöht. Ein Kern wird als Fabric-Controller sowie für Berechnungen mit geringer Intensität in bestimmten Modi verwendet. Die anderen neun bilden einen Rechencluster mit einem gemeinsamen L1-Datenbereich. Ein Kern in diesem Cluster (der neue) wird als Aufgabengruppen-Master verwendet, der Speicherbewegungen berechnet und Aufgaben auf den anderen acht Kernen verwaltet.

Der interne RAM wurde auf 1,6 MB verdreifacht und die Speicherbandbreite auf 41,6 GB/s für L1 und 7,2 GB/s für L2 erhöht.

„Diese [Speicherbandbreite] ist jetzt für ein Gerät der MCU-Klasse sehr wichtig“, sagte Croome.

Die Architektur des GAP9 Ultra-Low-Power-KI-Chips von GreenWaves verwendet jetzt 10 RISC-V-Kerne (Bild:GreenWaves)

Änderungen an der GAP9-Architektur beinhalten auch eine viel höhere Spitzenfrequenz; GAP8 wird mit 175 MHz getaktet, GAP9 läuft mit oder nahe 400 MHz. Es wurden auch neue Energiezustände hinzugefügt, darunter ein „schlafender“ Zustand, in dem Daten erfasst werden können, der Stromverbrauch jedoch immer noch unter 1 mW liegt. In diesem Zustand kann der Prozessor mit einem Low-Dropout-Regler (LDO) betrieben werden, der schnell anlaufen kann. Dies verkürzt die Zeit von GAP9 bis zur ersten Instruktion auf nur wenige Mikrosekunden (GAP8 dauerte etwa 700 µs, während es auf die Stabilisierung des DC-DC-Wandlers wartete, sagte Croome). Diese Schnellstartfunktion ist nützlich, wenn zeitbasierte Signale wie Sprache erfasst werden.

Alle zehn Kerne sind jetzt in der Lage, Gleitkommazahlen mit „Transpräzision“ zu verarbeiten:IEEE-Format 16- und 32-Bit-Gleitkomma plus zusätzliche 8- und 16-Bit-Formate mit Unterstützung für Vektorisierung. Diese Fähigkeit kann verwendet werden, um den Energiebedarf für Algorithmen zu senken, die Gleitkommazahlen erfordern. GAP9 unterstützt auch vektorisierte 4-Bit- und 2-Bit-Operationen für Anwendungen, die tiefe Quantisierungsebenen nutzen.

Zu den weiteren neuen Funktionen gehören bidirektionale Mehrkanal-Audioschnittstellen.

GAP9 wird voraussichtlich 2021 in Massenproduktion gehen, Muster werden in der ersten Hälfte des Jahres 2020 geliefert. Croome sagte, dass der Preis im Vergleich zu GAP8 voraussichtlich um 50 % höher sein wird. Angesichts des unterschiedlichen Timings, der unterschiedlichen Leistungszahlen und des unterschiedlichen Preises erwartet das Unternehmen, dass beide Produkte in Zukunft auf den Markt kommen werden.