KI-Modelle für effizientes Embedded Deployment optimieren

Da die Nachfrage nach KI-getriebenen Interfaces wächst, fühlt sich die Integration von Features wie Gesichtserkennung in Maschinen nicht mehr wie ein monumentaler Sprung an. Mit einer Fülle von KI-Plattformen, Trainingstools und Open-Source-Projekten – wie dem Face-ID-Beispiel – können Entwickler schnell auf einem PC prototypen.

(Quelle: CEVA)

Constraints

Das Migrieren eines auf PC oder Cloud trainierten Netzwerks auf ein Embedded-System präsentiert distinkte Herausforderungen. Modelle, gebaut für High-End-Hardware, ignorieren oft Memory-Constraints, verlassen sich auf Floating-Point-Arithmetik und hängen von Off-Chip-Memory für Sliding-Window-Inferenz ab. Während ein Prototyp auf einem leistungsstarken PC diese Ineffizienzen affordieren kann, muss eine Embedded-Applikation signifikant sparsamer sein – doch muss Performance 유지.

Die Essentials der Optimierung

Der erste Pfeiler der Optimierung ist Quantisierung. Konvertieren von Weights von 32-Bit Floating-Point zu 8-Bit Integers schrumpft sowohl Model-Size als auch Intermediate Values, was signifikante Memory-Einsparungen mit vernachlässigbarem Impact auf Accuracy für die meisten Vision-Tasks liefert.

Ausnutzen von Weight Sparsity kann Compute weiter reduzieren. Indem Koeffizienten nahe Null gezeroed werden – während Accuracy-Impact überwacht wird – eliminiert man unnötige Multiplikationen, schneidet sowohl Memory-Traffic als auch Powerverbrauch.

In der Praxis verarbeiten Vision-Modelle Bilder inkrementell, sodass Weights aktualisiert werden, während das Computation Window über den Frame slidet. Einen großen Anteil der Weight Matrix auf Null zu forcen erlaubt, das Array zu komprimieren und in On-Chip SRAM zu speichern, was Off-Chip Traffic reduziert und Throughput boostet.

Neuronale Netze hängen auch von mature Libraries ab. Ein Mikrocontroller-freundliches Runtime – wie TensorFlow Lite oder ein Vendor-spezifischer Accelerator Library – ist essenziell für effiziente Inferenz. Für volle Ausnutzung eines Mikrocontrollers ist meist eine custom-tailored Lösung erforderlich.

Die richtige Plattform zu wählen ist daher kritisch. Man braucht einen Flow, der ein im gewählten Framework trainiertes Modell (z.B. TensorFlow) direkt auf das Embedded Target kompiliert, mit minimalem manuellem Tweaking, während er trotzdem feinkörnige Kontrolle über Quantisierungslevel, Weight Thresholds und Memory Mapping erlaubt.

Wie mache ich dies zu einem einfach zu nutzenden Flow?

Was man will, ist eine nahtlose Pipeline, die ein trainiertes Netzwerk nimmt und es für Deployment paketiert – komplett mit Quantisierung, Sparsity Pruning und Runtime Code Generation – damit man sich auf die Applikation fokussieren kann statt auf Low-Level-Optimierungen.

CEVAs CDNN ist für genau diesen Zweck gebaut. Es bietet eine Offline-Toolchain für Quantisierung, Pruning und Runtime Generation und liefert Libraries, die eng an CEVA DSPs und Kunden-Acceleratoren gekoppelt sind. CDNN unterstützt alle Major Model Formate, einschließlich TensorFlow Lite, ONNX und Caffe.

Verwandte Inhalte:

• Embedded AI meistern
• KI-Modelle in Mikrocontroller quetschen
• Machine Learning in Embedded Systems anwenden
• Mikrocontroller-Architekturen evolvieren für KI
• KI-Modelle am Edge trainieren
• Mikrocontroller-Architekturen evolvieren für KI
• Big Data in Smart Data mit Embedded KI verwandeln

Für mehr Embedded, abonnieren Sie Embeddeds wöchentlichen E-Mail-Newsletter.