Cloud-Anbieter zitieren die Rolle, da die KI-Inferenz an den Rand wechselt

Die Durchführung von KI-Inferenz auf eingebetteten Edge-Geräten ist in Situationen attraktiv, in denen eine geringe Latenz erforderlich ist oder die am Edge gesammelten Datenmengen zu viel kosten würden, um sie in die Cloud zu senden. Fortschritte bei dedizierten Beschleunigern für maschinelles Lernen, hochmodernen Mikrocontrollern sowie KI-Modellen und -Software bedeuten, dass mehr KI-Inferenzen bei Edge-Leistungsbudgets möglich sind als je zuvor. Aber selbst wenn alle Schlüsse am Edge gezogen werden, ist die Cloud immer noch ein nützliches Werkzeug für die Verwaltung von Geräten im Feld, sagen Cloud-Anbieter.

AWS IoT

Auf der Embedded World Digital 2021 präsentierten die Cloud-Anbieter AWS und Microsoft ihre Ökosystemlösungen für Edge-KI-Geräte.

„Das Ausführen von TensorFlow Light- oder Machine-Learning-Modellen auf den Geräten selbst ist eine Möglichkeit“, sagt Rajeev Muralidhar, Principal Specialist Solutions Architect bei AWS. „Aber die Möglichkeit, eine ganze Pipeline für den Gerätelebenszyklus auf sichere Weise aufzubauen, sie in großem Maßstab zu verwalten, die Möglichkeit, formale Upgrades auf den Geräten durchzuführen, damit Sie die darauf ausgeführten Versionen verwalten können, mehr Sicherheit und mehr Funktionen bieten, und auch die Möglichkeit, die dort laufenden ML-Modelle zu aktualisieren – dies ist eine weitere wichtige Funktion.“

AWS stellt hierfür über seine AWS IoT-Plattform eine Infrastruktur bereit. Diese Plattform, so Muralidhar, umfasst drei Schlüsselkomponenten – geräteseitige Software (FreeRTOS oder AWS Greengrass), Steuerungs- und Konnektivitätskomponenten (AWS IoT Core) und Analysedienste.

AWS bietet über seine IoT-Plattform Unterstützung für Edge-KI-Geräte (Bild:AWS)

FreeRTOS ist ein weit verbreitetes Open-Source-Betriebssystem für Geräte auf Mikrocontroller-Ebene. Es kommt mit Long-Term Support (RTS), der zwei Jahre lang Sicherheitsupdates, Feature-Upgrades und Bugfixes garantiert. Es bietet auch Funktionen für sichere Over-the-Air-Updates und die Bereitstellung von Firmware auf den Geräten, die im Feld eingesetzt wurden. Der FreeRTOS-Kernel kann direkt mit einem Geräte-Gateway kommunizieren, auf dem möglicherweise AWS Greengrass ausgeführt wird.

AWS IoT Core ist der Einstiegspunkt für Daten in die Cloud. Es enthält einen Message Broker, der Regeln für die Daten erlassen kann, egal ob diese gespeichert oder zur Analyse in eine Datenbank oder ein Dashboard verschoben werden, z. B. SageMaker für die Analyse des maschinellen Lernens.

Die AWS IoT-Plattform verfügt außerdem über Komponenten für die Verwaltung großer Flotten, Geräteverwaltung und IoT-Analyse sowie eine Ereignisverwaltungsfunktion, die die Erkennung und Reaktion auf Ereignisse von Ihren IoT-Geräten automatisieren kann.

„End-to-End-Management des Gerätelebenszyklus ist von entscheidender Bedeutung, wenn Sie über Geräte in großem Maßstab nachdenken, und die Möglichkeit, das zugrunde liegende Betriebssystem dieser Geräte zu aktualisieren, ist ebenfalls entscheidend“, sagte Muralidhar. "Sie möchten dies sicher tun können, Sie möchten die Sicherheitsanmeldeinformationen wechseln können, damit Sie bei der Sicherheit Ihrer Geräteflotte keine Kompromisse eingehen."

Die ideale Situation besteht darin, die eingehenden Daten in die Cloud zu senden, damit eine kontinuierliche Bewertung und Schulung erfolgen kann, sagte Muralidhar.

„[Dann] wenn Sie neuere Modelle aktualisiert haben, die genauer sind, können Sie sie in das Gerät ziehen und auf Ihre gesamte Geräteflotte in der Industriehalle oder Ihre vernetzte Fahrzeugflotte ausrollen“, sagte er. „Auf diese Weise sind die Geräte, die in Ihren Fahrzeugen laufen, leistungsfähiger und können schneller und genauer reagieren.“

Azurblaue Wahrnehmung

Auf der Messe präsentierte Microsoft auch sein brandneues Konzept Azure Percept. Azure Percept ist eine Hardware- und Softwareplattform für Edge-KI, die einige der Cloud-Angebote von Azure nutzt – einschließlich Geräteverwaltung, KI-Modellentwicklung und -analyse. Azure-Cloudtools werden verwendet, um Geräte zu verwalten und auf Open-Source-KI-Modelle zuzugreifen oder neue zu erstellen.

Die Azure Percept-Plattform von Microsoft ist sowohl Hardware als auch Software. Die Hardware umfasst ein Trusted Platform Module (Mitte), ein Azure Percept Audio-Modul (links) und ein Azure Percept Vision-Modul (rechts) (Bild:Microsoft)

Außerdem hat das Unternehmen ein Hardware Development Kit mit zwei Modulen auf den Markt gebracht. Das Modul Azure Percept Vision für Computer Vision am Edge basiert auf Intels Movidius Myriad X AI Accelerator. Es gibt auch ein Azure Percept Audio-Modul, aber es waren keine Details zu diesem Modul verfügbar.

Mit diesem neuen Angebot möchte Microsoft eine End-to-End-Lösung bereitstellen, die die Eintrittsbarrieren für Nicht-Spezialisten senkt. Die Idee ist, die Entwicklung, das Training und die Bereitstellung von Edge-KI zu vereinfachen.

Azure Percept stellt auch eine Verbindung zu Azure IoT Hub her, um die sichere Kommunikation zwischen IoT-Geräten und der Azure-Cloud zu erleichtern.

Für die Zukunft plant Microsoft, die Anzahl der von Drittanbietern erhältlichen Azure Percept-Geräte zu erweitern. Entwickler, die das aktuelle Hardware-Entwicklungskit verwenden, können ihre Lösung dann auf auf dem Markt verfügbaren Percept-zertifizierten Geräten bereitstellen.

>> Dieser Artikel wurde ursprünglich veröffentlicht am unsere Schwesterseite EE Times Europe.