Edge-AI-Chip verzichtet auf klassische MAC-Arrays, erreicht 55 TOPS/W Effizienz

Ein Silicon-Valley-Startup hat die Mathematik neuronaler Netze neu erfunden und einen Edge-AI-Chip entwickelt, der konventionelle Multiply-Accumulate (MAC)-Arrays umgeht. Das Ergebnis ist ein 7×7 mm großer Chip namens Ergo, der 4 TOPS Leistung bei nur 20 mW Verbrauch liefert – eine beeindruckende Effizienz von 55 TOPS/W. Laut Perceive kann der Chip Datacenter-Grade-Inferenz-Workloads wie YOLOv3 mit 30 fps bei unter 20 mW ausführen.

Perceive wurde vor zwei Jahren in San Jose gegründet, verließ die Stealth-Phase und wird vollständig von der Muttergesellschaft Xperi finanziert. Das 41-köpfige Kernteam wird von einer ähnlichen Anzahl Xperi-Ingenieure ergänzt, die sich auf Applikationen für Ergo konzentrieren. Steve Teig, Gründer und CEO von Perceive sowie Xperis CTO, bringt tiefe Erfahrung in Chip-Design und KI mit, nachdem er zuvor das 3D-programmierbare-Logic-Startup Tabula leitete und CTO bei Cadence war.

Teig erklärt, der Weg begann mit einer einfachen Frage: „Welche Berechnungen führen neuronale Netze tatsächlich aus?“ Durch Anwendung informationstheoretischer Prinzipien identifizierte das Team eine effizientere Darstellung von Netzwerkoperationen, die wiederum die Architektur von Ergo prägte. Dieser neue Ansatz eliminiert den Großteil konventioneller MAC-Arrays, was einen Chip ergibt, der 20- bis 100-mal energieeffizienter ist als konkurrierende Lösungen.

Architektur

Ergos Architektur umfasst vier Compute-Cluster, jeder mit dediziertem Speicher. Im Gegensatz zu typischen Beschleunigern, die auf MAC-Arrays für Skalarproduktberechnungen setzen, führen Ergos Cluster Operationen auf neuartige, hochparallele Weise aus. Dieses Design unterstützt eine breite Palette von Netzwerktopologien – einschließlich CNNs, RNNs und sogar mehreren heterogenen Modellen, die gleichzeitig laufen – ohne externen RAM.

In der Praxis hat Perceive die simultane Ausführung von YOLOv3 (60–70 M Parameter) oder M2Det zusammen mit ResNet-28 und einem LSTM für Sprachverarbeitung demonstriert. Diese Fähigkeit ermöglicht Echtzeit-Vision und Audio-Inferenz auf demselben Edge-Gerät.

Stromsparmechanismen

Die Energieeffizienz wird durch aggressive Power-Gating- und Clock-Gating-Techniken weiter gesteigert, die die deterministische Natur neuronaler Netzwerk-Workloads nutzen. Da Inferenz-Code keine Verzweigungen enthält, ist das Timing vorhersagbar, sodass der Chip virtuell ausgeschaltet bleibt, bis er durch einen Bewegungssensor oder analoges Mikrofon getriggert wird. Einmal aktiviert, kann Ergo ein vollständiges Datacenter-Grade-Modell laden und in ca. 50 ms (inkl. Entschlüsselung) Inferenz starten.

Zusätzliche Features

Neben der Computation integriert Ergo eine Hardware-Bildverarbeitungspipeline für De-Warping von Fischaugenobjektiven, Gamma-Korrektur, Weißabgleich und Cropping. Ein äquivalenter Audio-Verarbeitungsblock unterstützt Beamforming über mehrere Mikrofone. Ein Synopsys ARC Mikroprozessor mit DSP-Kern übernimmt zusätzliches Pre-Processing und führt verschlüsselte Firmware aus, während ein dedizierter Sicherheitsblock alle Datenpfade und Netzwerkgewichte verschlüsselt, um IoT-Deployments abzusichern.

Ergo verbindet sich mit externem Flash-Speicher und unterstützt Over-the-Air-Updates, was On-Device-Neutrainieren oder Austausch von Modellen ermöglicht. Chip und Reference Board befinden sich aktuell im Sampling; Massenproduktion ist für Q2 2024 geplant.

Steve Teig (Bild: Perceive)

Perceive behauptet, Ergo-Chip erreicht 55 TOPS/W, führt YOLOv3 mit 30 fps bei 20 mW aus (Bild: Perceive)

Perceives Technologie basiert auf Neuerfindung neuronaler Netze mittels Informationstheorie (Bild: Perceive)