Einsatz von AIoT auf Mikrocontrollern: Ein praktischer Leitfaden

In einem kürzlichen Beitrag untersuchte ich, wie künstliche Intelligenz zunehmend in Internet-of-Things-Geräte eingewoben wird, was zu intelligenten AIoT-Lösungen führt, die aus Daten lernen und autonome Entscheidungen treffen. Diese Systeme zeigen menschenähnliche Interaktionen mit ihrer Umgebung, verbessern Produktfunktionalität und Benutzererfahrung.

KI und IoT gemeinsam haben neue Märkte für Mikrocontroller (MCUs) erschlossen. Durch die Kopplung einfacher MCUs mit KI-Beschleunigung können Entwickler Intelligenz in Geräte einbetten, die zuvor ausschließlich auf grundlegende Sensoren angewiesen waren. Moderne KI-fähige MCUs kombinieren digitale Signalverarbeitung (DSP) für Berechnungen mit Machine-Learning (ML) Inferenz und ermöglichen Anwendungen wie Keyword Spotting, Sensorfusion, Vibrationsanalyse und Spracherkennung. Hochleistungs-MCUs unterstützen nun Vision- und Imaging-Aufgaben – Gesichtserkennung, Fingerabdruckanalyse, autonome Roboter – und bringen das, was einst MPUs und GPUs vorbehalten war, an den Edge.

KI-Technologien in Edge-Geräten

Machine Learning (ML): ML-Algorithmen bauen Modelle aus repräsentativen Daten, sodass Geräte Muster automatisch erkennen. Anbieter liefern Algorithmen, APIs und Trainingswerkzeuge, die eingebetteten Systemen ermöglichen, vortrainierte Modelle für Inferenz auszuführen. Häufige Anwendungsfälle sind Sensor-Hubs, Keyword Spotting, Predictive Maintenance und Klassifizierung.

Deep Learning: Ein Teilbereich des ML, der mehrschichtige neuronale Netze trainiert, um hochwertige Merkmale aus komplexen Eingaben zu extrahieren. Deep Learning glänzt bei großen, vielfältigen Datensätzen und verbessert sich mit jeder Iteration kontinuierlich. Anwendungen umfassen Bildverarbeitung, Chatbots und Gesichtserkennung.

Natural Language Processing (NLP): NLP ermöglicht Systemen, menschliche Sprache – Text oder Sprache – zu verstehen und darauf basierend Entscheidungen zu treffen. Es treibt Spracherkennung, maschinelle Übersetzung und vorausschauendes Tippen an.

Computer Vision: Dieses Gebiet trainiert Maschinen, Bilddaten zu erfassen, zu interpretieren und darauf zu reagieren. Durch Deep Learning können Systeme Objekte in Echtzeit identifizieren und klassifizieren. Anwendungsfälle sind Fertigungsfehlererkennung, medizinische Diagnostik, Gesichtserkennung im Einzelhandel und Testen autonomer Fahrzeuge.

AIoT auf MCUs

Historisch residierte KI in MPUs und GPUs, wo großer Speicher und leistungsstarke Kerne schwere Workloads bewältigen konnten. Der Wandel hin zu Edge-Intelligenz platziert KI nun auf MCUs, getrieben durch den Bedarf an geringerer Latenz, reduziertem Bandbreitenverbrauch und engeren Energiebudgets. Neuere MCUs verfügen über genügend Rechenleistung und Speicher, um leichte neuronale Netzwerk-Frameworks für ressourcenbeschränkte Geräte zu hosten, was Echtzeit-Inferenz am Edge ermöglicht.

Ein neuronales Netz besteht aus Schichten von Knoten, die gewichtete Eingaben verarbeiten, um Ausgaben zu erzeugen. Während des Trainings – typischerweise in der Cloud – fließen Daten durch das Netzwerk, und Backpropagation justiert Gewichte, um den Vorhersagefehler zu minimieren. Nach dem Training werden die festen Gewichte im Flash-Speicher gespeichert, sodass der MCU Inferenz mit minimalem RAM durchführen kann.

Inferenz erfordert weit weniger Rechenleistung als Training, was MCUs zu idealen Hosts für vortrainierte Modelle macht. Die Gewichte bleiben statisch, und der MCU kann sofortige Entscheidungen basierend auf neuen Sensordaten treffen.

Implementierung von KI auf MCUs

Der typische Workflow umfasst vier Phasen:

1. Datenerfassung: Sammeln umfangreicher Datensätze vom Zielgerät oder der Anwendung.
2. Modelltraining: Verwenden cloud-basierter Tools von KI-Anbietern (z. B. TensorFlow Lite, Caffe) zum Trainieren eines neuronalen Netzes, das den Anwendungsanforderungen genügt.
3. Modellkonvertierung: Konvertieren des trainierten Modells in ein Flat-Buffer-Format mit dem Konverter des Anbieters, optional mit Quantisierung zur Größenreduzierung. Der Flat Buffer wird dann in C-Code übersetzt und in die MCU-Firmware eingebunden.
4. Bereitstellung & Updates: Flashen der Firmware auf den MCU. Wenn neue Datenklassen auftauchen, kann das Modell in der Cloud neu trainiert und per Over-the-Air (OTA) Firmware-Upgrade auf dem Gerät aktualisiert werden.

Es gibt zwei gängige Architekturpfade für MCU-basierte KI-Lösungen, vorausgesetzt ein Arm Cortex‑M-Kern:

1. Software-only Execution: Das Flat-Buffer-Modell läuft auf der Cortex‑M CPU, beschleunigt durch CMSIS‑NN-Bibliotheken. Dieses leichte Setup eignet sich für Aufgaben wie Keyword Spotting und Vibrationsanalyse.
2. Hardware-beschleunigte Execution: Einbau einer Micro Neural Processing Unit (u‑NPU) oder NN-Beschleunigers. Die u‑NPU übernimmt die meisten gängigen Audio-, Sprach-, Bildklassifizierungs- und Objekterkennungs-Workloads, fällt für nicht unterstützte Operationen auf die CPU zurück. Dieser Ansatz liefert höheren Durchsatz und geringeren Stromverbrauch.

Da MCUs sich dem Leistungsniveau von MPUs annähern, erwarten wir das Aufkommen von On-Device-Learning – leichte Trainingsalgorithmen, die direkt auf dem MCU laufen. Dies wird neue Märkte eröffnen und erhebliche Investitionen von MCU-Herstellern anregen.

KI am Edge ist die Zukunft

Edge KI auf ressourcenbeschränkten MCUs wird exponentiell wachsen und neue Anwendungen freisetzen, da die Leistungsgrenzen zwischen MCUs und MPUs verschwimmen. Die Verbreitung dünner NN-Modelle, die für eingebettete Kontexte entworfen wurden, wird die Einführung in allen Branchen vorantreiben.