Wie Tool-Innovation Vision AI für Embedded Systems vereinfacht

Die Integration von Vision in alltägliche Produkte bietet transformative Vorteile branchenübergreifend, doch das Extrahieren von Kameradaten, Einbetten von Machine-Learning-Modellen und Liefern actionable Insights bleiben komplexe Herausforderungen.

Der Schlüssel liegt in der Auswahl der passenden Software, Tools, Bibliotheken und Compiler. Diese Ressourcen sind für Nicht-Ingenieure typischerweise unzugänglich, und selbst viele Embedded-Entwickler fehlt die spezialisierte Expertise für Vision-System-Design.

Eine der größten Hürden ist das fehlende Bewusstsein für Software und Tools, die Embedded-Vision-Entwicklung erleichtern, wie Jeff Bier, Gründer der Edge AI and Vision Alliance, in einem Briefing mit EE Times vor dem Embedded Vision Summit 2021 erläuterte. Während signifikante Investitionen und Forschung in Algorithmen und Silicon flossen, wurden die Software-Tools, die zwischen ihnen vermitteln – Compiler, optimierte Funktionsbibliotheken und mehr – etwas vernachlässigt, so Bier.

Die richtigen Software-Tools, Compiler und Bibliotheken können eine sehr effiziente Implementierung eines Algorithmus für einen bestimmten Mikrocontroller oder Prozessor liefern. Aber „in den letzten 30 Jahren haben Halbleiterunternehmen typischerweise unterinvestiert in Software-Tools“, sagte Bier, ein Veteran der Embedded-Systeme-Industrie und Signalverarbeitung. „[Software] wird oft als notwendiges Übel gesehen – ein Kostenfaktor in einem sehr kostensensiblen Geschäft – und das zeigt sich. Als Embedded-Software-Entwickler schaut man auf die verfügbaren Tools im Vergleich zu dem, was PC- oder Cloud-Entwickler haben, und fühlt sich wie das ungeliebte Stiefkind.“

Dieses Argument weiterführend fügte er hinzu: „Man mag Embedded-Systeme-Expertise haben, aber diese Entwickler haben vielleicht nie mit Bilddaten oder Deep Neural Networks gearbeitet.“

Skills sind eine große Herausforderung, sagte Bier. „Wir haben vielleicht Spreadsheet-Berechnungen gemacht und gesagt: ‚Ja, es ist möglich, dieses Deep Neural Network mit ausreichender Performance in unserer Anwendung zu betreiben.‘ Aber wissen wir, wie man das macht? Haben wir die Skills? Für die meisten Organisationen lautet die Antwort nein, weil sie nicht die Gelegenheit hatten, diese Technologie in der Vergangenheit zu nutzen. Da es im kommerziellen Bereich eine relativ neue Technologie ist, fehlt die Expertise. Sie haben keine Machine-Learning- oder Computer-Vision-Abteilung in ihrem Unternehmen.“

In den letzten paar Jahren hat sich dies zu einem echten Flaschenhals für die kommerzielle Anwendung von Computer Vision und Deep Neural Networks entwickelt – einfach das Know-how.

Die Technologie wird jedoch zugänglicher, da Unternehmen in den letzten paar Jahren die Skills-Lücke adressiert haben. „Die Wissens- und Skills-Lücke war ziemlich groß, wird aber kleiner“, sagte Bier und fügte hinzu, dass „ein paar Unternehmen“, eines groß und eines klein, „die Führung übernommen haben“. Das große Unternehmen ist Intel; das kleine ist Edge Impulse.

„Intel hat mich oft beeindruckt, indem es den Trend bricht und bereit ist, große Investitionen in Software-Tools auf verschiedene Weisen zu tätigen“, sagte Bier. „Sie haben beispielsweise die OpenVINO Toolchain für Edge Computer Vision und Inference sowie DevCloud for the Edge. Edge Impulse ist auch eine cloud-basierte Umgebung. Für einen Embedded-Entwickler fühlt sich das [die Cloud-Umgebung] seltsam an. Alles ist oft auf ihrem Schreibtisch – das Dev Board, die Workstation, die Tools – und sie brauchen nicht mal eine Internetverbindung. Alles ist sehr lokal. Also fühlt es sich sehr seltsam an zu sagen: ‚Leg deinen Code in die Cloud‘ und führe die Tools in der Cloud aus.“

Der Trend adressiert Time-to-Deployment ebenso wie die Skills-Lücke. Eine häufige Frustration für Embedded-Entwickler ist der Zugriff auf Boards und Tools und deren korrekte Installation, sagte Bier. Der Zeitrahmen wird „üblicherweise in Wochen gemessen, manchmal in Monaten, und das ist schmerzhaft, besonders wenn man am Ende merkt, dass das nicht das war, was man brauchte, und den Prozess mit anderen Boards wiederholen muss.“ Zum Beispiel könnte man am Ende feststellen, dass „man das nächsthöhere braucht, mit höherer Performance oder einem anderen Satz an I/O-Interfaces.“

Aber wenn der Lieferant „alle Dev Boards in der Cloud an seine Maschinen angeschlossen hat und [darauf] nach Belieben zugreifen kann, bietet das enormen Komfort. Ebenso haben sie die neuesten Versionen der Software-Tools und haben alle Abhängigkeiten zwischen ihnen geklärt.“

Vision AI Deployment beschleunigen

Wie beschleunigt man also die Bereitstellung von Embedded Vision, um Features wie Objekterkennung und -analyse zu ermöglichen – ob für Smart Cities, Fabriken, Retail oder jede andere Anwendung?

Da die von Bier beschriebenen Pain Points erkannt wurden, gehen Unternehmen darauf ein. Einige bieten jetzt Tools wie cloud-basierte Entwicklungssysteme an, die es erlauben, Code oder Daten einzuspeisen und Evaluierungen in kürzester Zeit zu erhalten. Andere bieten Referenzdesigns, bei denen man einfach den Kameraausgang anschließt und aus Bibliotheken oder Apps wählt, die Inferenz-Algorithmen für gängige Anwendungen bereitstellen.

Im ersten Lager bieten Intel DevCloud for the Edge und Edge Impulse cloud-basierte Plattformen, die die meisten Pain Points mit einfacherem Zugriff auf neueste Tools und Software beseitigen. Im zweiten Lager haben Xilinx und andere begonnen, komplette Systems-on-Module mit produktionsreifen Anwendungen anzubieten, die mit Tools auf höherer Abstraktionsebene deployed werden können, wodurch der Bedarf an manchen spezialisierten Skills entfällt.

Prototypen, Benchmark und Test KI-Inferenz in der Cloud

Intel DevCloud for the Edge lässt Nutzer KI-Inferenz-Anwendungen auf einer Reihe von Intel-Hardware entwickeln, prototypen, benchmarken und testen – einschließlich CPUs, integrierten GPUs, FPGAs und Vision Processing Units (VPUs). Mit seiner Jupyter-Notebook-Oberfläche enthält die Plattform Tutorials und Beispiele, vorkonfiguriert mit allem, was für schnellen Start nötig ist. Dazu gehören vortrainierte Modelle, Beispieldaten und ausführbarer Code aus der neuesten Version des Intel Distribution of OpenVINO Toolkits sowie andere Deep-Learning-Tools. Alle unterstützenden Geräte sind für optimale Performance konfiguriert und bereit für Inferenz-Ausführung.

Der bedeutendste Vorteil für den Entwickler ist, dass die Plattform kein Hardware-Setup auf Nutzerseite erfordert. Die browserbasierte Jupyter-Notebook-Entwicklungsumgebung ermöglicht es Entwicklern, Code aus dem Browser auszuführen und Ergebnisse sofort zu visualisieren. So können sie Computer-Vision-Lösungen in Intels Cloud-Umgebung prototypen und ihren Code auf jeder Kombination der verfügbaren Hardware-Ressourcen laufen sehen.

Es gibt drei Hauptvorteile dieses cloud-basierten Angebots. Erstens löst es das Problem der Hardware-Wahl-Paralyse. Entwickler können KI-Anwendungen remote auf einer breiten Hardware-Range ausführen, um zu bestimmen, was basierend auf Faktoren wie Inferenz-Ausführungszeit, Stromverbrauch und Kosten am besten für ihre Lösung ist.

Zweitens bietet es sofortigen Remote-Zugriff auf die neueste Intel Edge-Hardware. Auf der Softwareseite löst es das Problem veralteter Software, da es sofortigen Zugriff auf die neueste Version des Intel Distribution of OpenVINO Toolkits und kompatible Edge-Hardware bietet.

Und drittens bietet es Zugriff auf anwendungsspezifische Performance-Benchmarks in einem einfach zu vergleichenden Side-by-Side-Format.

(Ein Tutorial zur Ausführung von Objekterkennungsmodellen mit Intel DevCloud for the Edge ist hier verfügbar.)

Modell in der Cloud bauen, live sehen was passiert

Ein anderer Ansatz ist, Daten in eine Cloud-Plattform einzuspeisen, um Trainingsmodelle zu visualisieren und zu erstellen und sie auf Embedded-Geräten zu deployen. Edge Impulse macht genau das und bietet eine cloud-basierte Entwicklungsumgebung, die es einfach machen soll, Machine Learning auf Edge-Geräten hinzuzufügen, ohne einen Ph.D. in Machine Learning zu benötigen, so das Unternehmen.

Die Plattform ermöglicht Nutzern, im Feld gesammelte Bilddaten zu importieren, schnell Klassifikatoren zur Interpretation dieser Daten zu bauen und Modelle zurück auf produktive Low-Power-Geräte zu deployen. Ein Schlüssel der Edge-Impulse-Webplattform ist die Fähigkeit, alle erworbenen Daten anzusehen und zu labeln, Pre-Processing-Blöcke zur Augmentation und Transformation von Daten zu erstellen, das Bild-Dataset zu visualisieren und Modelle auf Trainingsdaten direkt aus der Benutzeroberfläche zu klassifizieren und zu validieren.

Da es ziemlich schwer sein kann, ein Computer-Vision-Modell von Grund auf zu bauen, nutzt Edge Impulse Transfer Learning, um es einfacher und schneller zu machen, Modelle zu trainieren. Dabei baut man auf einem gut trainierten Modell auf und trainiert nur die oberen Layer eines Neuralen Netzwerks neu, was zu viel zuverlässigeren Modellen führt, die in einem Bruchteil der Zeit trainieren und mit erheblich kleineren Datasets funktionieren. Mit dem designten, trainierten und verifizierten Modell ist es dann möglich, dieses zurück auf das Gerät zu deployen. Das Modell kann dann auf dem Gerät ohne Internetverbindung laufen, mit all seinen inhärenten Vorteilen wie Minimierung der Latenz und minimalem Stromverbrauch. Das komplette Modell wird mit Pre-Processing-Schritten, Neural-Network-Gewichten und Klassifikationscode in einer einzelnen C++-Bibliothek verpackt, die in die Embedded-Software eingebunden werden kann.

Auf eine höhere Abstraktionsebene gehen

Ein weiterer von Anbietern verfolgter Ansatz ist die Reduzierung der Entwicklungszeit durch modulare Systeme und Design auf höherer Abstraktionsebene. Xilinx sagte, dass sein neuer Systems-on-Modules (SOMs) Ansatz bis zu neun Monate Entwicklungszeit für Vision-Systeme einsparen kann, indem er die steigende Komplexität in Vision AI sowie Herausforderungen bei der Implementierung von AI am Edge adressiert.

Xilinx kündigte kürzlich das erste Produkt in seinem neuen SOM-Portfolio an: den Kria K26 SOM, speziell für Vision AI Anwendungen in Smart Cities und Smart Factories, zusammen mit einem out-of-the-box bereiten, kostengünstigen Development Kit, dem Kria KV260 AI Vision Starter Kit.

Chetan Khona, Director of Industrial, Vision and Healthcare bei Xilinx, sagte bei der Pressekonferenz zum Launch der neuen Modulfamilie: „Produktionsreife Systeme sind wichtig für schnelle Bereitstellung [von Embedded Vision AI]. Kunden können bis zu neun Monate Entwicklungszeit sparen, indem sie ein Modul-basiertes Design statt einem Device-basierten Design nutzen.“ Er fügte hinzu, dass mit dem Starter Kit Nutzer innerhalb einer Stunde starten können, „ohne FPGA-Erfahrung nötig“. Man schließt Kamera, Kabel und Monitor an, steckt die programmierte microSD-Karte ein, schaltet das Board ein und kann dann eine beschleunigte Anwendung seiner Wahl auswählen und ausführen.

Das Kria SOM-Portfolio koppelt die Hardware- und Software-Plattform mit produktionsreifen vision-beschleunigten Anwendungen. Diese Turnkey-Anwendungen eliminieren die gesamte FPGA-Hardware-Design-Arbeit; Software-Entwickler müssen nur ihre benutzerdefinierten KI-Modelle und Applikationscode integrieren und optional die Vision-Pipeline modifizieren – unter Verwendung vertrauter Design-Umgebungen wie TensorFlow, PyTorch oder Caffe Frameworks sowie C, C++, OpenCL und Python Programmiersprachen.

Die Kria SOMs ermöglichen auch Anpassung und Optimierung für Embedded-Entwickler mit Support für Standard Yocto-basiertes PetaLinux. Xilinx sagte, eine Kollaboration mit Canonical sei im Gange, um Ubuntu Linux Support bereitzustellen, die hochpopuläre Linux-Distribution, die von KI-Entwicklern genutzt wird. Dies bietet breite Vertrautheit bei KI-Entwicklern und Interoperabilität mit bestehenden Anwendungen. Kunden können in beiden Umgebungen entwickeln und beide Ansätze in die Produktion nehmen. Beide Umgebungen kommen vorkonfiguriert mit Software-Infrastruktur und hilfreichen Utilities.

Wir haben drei der Ansätze hervorgehoben, die Anbieter verfolgen, um die Skills- und Wissenslücke sowie die Bereitstellungszeit für Embedded Vision Systems Development anzugehen. Die cloud-basierten Ansätze bieten Tools, die die Fähigkeit „demokratisieren“, Modelle zu erstellen und zu trainieren und Hardware für extrem schnelle Bereitstellung auf Embedded-Geräten zu evaluieren. Und der Ansatz, der ein Modul oder Referenzdesign mit einer App-Bibliothek bietet, ermöglicht KI-Entwicklern, Embedded Vision Systeme schnell mit bestehenden Tools zu erstellen. All dies bewegt uns in eine andere Art, Development Boards und Tools zu betrachten. Sie nehmen das Mysterium aus Embedded Vision, indem sie die Wertschöpfungskette hinaufsteigen und die foundational-level Arbeit den Vendor-Tools und -Modulen überlassen.

---

Verwandte Inhalte

• Embedded Vision am Wendepunkt
• Fünf Trends in Embedded Vision und Edge AI
• Werden Maschinen jemals vollständig verstehen, was sie sehen?
• Xilinx SOM zielt auf breitere Adoption von Edge AI und Embedded Vision
• Embedded Vision Summit: ML Perception auf winzigen FPGAs
• GWM nutzt Ambarella AI Vision SoC für neues SUV
• AImotive zeigt 98% Edge Vision Effizienz auf Nextchip Apache5
• Low Power AI Vision Board hält „Jahre“ mit einzelner Batterie
• OmniVision verkleinert medizinischen Bildsensor für tiefere Endoskopie