Edge AI gewinnt Momentum: Cloud-Führer AWS und Microsoft zeigen integrierte Inferenz- & Management-Lösungen

Die Bereitstellung von KI direkt auf Edge-Geräten liefert sofortige Antworten und senkt die Kosten für das Senden großer Datenströme in die Cloud. Jüngste Hardware-Fortschritte – dedizierte ML-Beschleuniger, leistungsstarke Mikrocontroller und verfeinerte Modelle – ermöglichen reichere Inferenz innerhalb enger Energiebudgets. Doch selbst eine vollständig lokale Pipeline profitiert weiterhin von Cloud-basiertem Device Management, kontinuierlichem Modelltraining und sicheren Update-Mechanismen.

AWS IoT

Auf der Embedded World Digital 2021 hoben AWS und Microsoft hervor, wie ihre Ökosysteme Edge AI unterstützen. AWS Principal Specialist Solutions Architect Rajeev Muralidhar erklärte, dass das Ausführen von TensorFlow Lite oder anderen ML-Modellen auf dem Gerät zwar eine Fähigkeit sei, der wahre Vorteil jedoch im sicheren und skalierbaren Management des gesamten Geräte-Lebenszyklus liege. Er betonte die Wichtigkeit des Rollouts von Firmware- und Modell-Upgrades, die Flotten sowohl aktuell als auch sicher halten.

AWS liefert diese Fähigkeit über die AWS IoT Plattform, die aus drei Kernkomponenten besteht: Device-seitige Software (FreeRTOS oder AWS Greengrass), Control- und Konnektivitäts-Services (AWS IoT Core) sowie Analytics- und Event-driven Services.

AWS bietet umfassende Unterstützung für Edge-KI-Geräte durch seine IoT-Plattform (Bild: AWS)

FreeRTOS ist ein Open-Source-OS für Mikrocontroller, unterstützt von einem zweijährigen Long-Term-Support (LTS)-Programm, das Sicherheits-Patches, Feature-Upgrades und Bugfixes garantiert. Sein OTA-Update-Framework lässt Betreiber Firmware-Änderungen sicher und skalierbar auf Tausende von Geräten pushen. Der FreeRTOS-Kernel kann direkt mit einem Gateway kommunizieren, das AWS Greengrass ausführt, und schafft so eine nahtlose Brücke zwischen lokaler Inferenz und Cloud-Services.

AWS IoT Core dient als Einstiegspunkt für Daten, die in die Cloud fließen. Es bietet einen Message Broker, der Regeln auf eingehende Daten anwenden kann – Speichern, Routing zu einer Datenbank oder Senden an Analytics-Tools wie SageMaker für Machine Learning. Die Plattform bietet auch Fleet-Management-Tools, Device-Management-Fähigkeiten und Event-getriebene Automatisierung, die Anomalien detektieren und Reaktionen über ein großes Netzwerk von IoT-Endpunkten auslösen.

Muralidhar hob hervor, dass sicheres, Ende-zu-Ende-Geräte-Lebenszyklus-Management essenziell ist, wenn man im großen Maßstab operiert. Das Rotieren von Sicherheits-Credentials und das Anwenden von OS-Updates ohne Beeinträchtigung der Flottenintegrität sind Schlüsselaspekte für den Erhalt eines vertrauenswürdigen Ökosystems.

Er sieht einen kontinuierlichen Loop, bei dem an die Cloud gesendete Daten für Modellverfeinerung genutzt werden, woraufhin neuere, präzisere Modelle zurück auf die Geräte gezogen werden. „So sind die Geräte, die in Ihren Fahrzeugen oder auf dem Shopfloor laufen, leistungsfähiger und können schneller und präziser reagieren“, sagte er.

Azure Percept

Microsofts Azure Percept ist eine Hardware-und-Software-Plattform, entwickelt, um Edge KI für Entwickler ohne tiefe Spezialisierung zugänglich zu machen. Das System nutzt Azures Cloud-Services für Device Management, Modellentwicklung und Analytics, während es vorgefertigte Hardware-Module bereitstellt, die modernste KI-Beschleuniger integrieren.

Microsofts Azure Percept Plattform kombiniert Hardware-Module – einschließlich Trusted Platform Module, Audio-Modul und Vision-Modul – mit Azures Cloud-gestützten Services (Bild: Microsoft)

Das aktuelle Hardware Development Kit bietet das Azure Percept Vision Modul, das Intels Movidius Myriad X Beschleuniger für Computer-Vision-Workloads nutzt, und ein Azure Percept Audio Modul, dessen Details noch folgen. Das Vision Modul ist darauf ausgelegt, Training, Deployment und Management von KI-Modellen direkt am Edge zu vereinfachen.

Microsoft bindet die Plattform auch an Azure IoT Hub ein, was sichere, bidirektionale Kommunikation zwischen Geräten und Cloud gewährleistet. Zukünftige Pläne beinhalten die Erweiterung der Palette an Drittanbieter-Percept-zertifizierten Geräten, sodass Entwickler Lösungen vom Development Kit auf produktionsreife Hardware portieren können.

>> Dieser Artikel wurde ursprünglich auf unserer Schwesterseite EE Times Europe veröffentlicht.