Hinzufügen eines ISPs und Beschleunigung des maschinellen Lernens zur i.MX 8M-Familie

Erfahren Sie, wie der i.MX 8M Plus-Anwendungsprozessor Edge-Computing ermöglicht und das maschinelle Lernen für eine Vielzahl von Anwendungen, einschließlich industrieller Aufgaben, beschleunigt.

Cloud Computing, Edge Computing und Vision-basierte Systeme haben immer mehr Industrie- und Verbrauchersysteme gleichermaßen übernommen. Viele moderne Systeme verwenden außerdem maschinelles Lernen und künstliche Intelligenz, um die Benutzererfahrung zu verbessern. Dieser Ansatz erfordert oft, dass Designer von eingebetteten Systemen eine Vielzahl verschiedener SoCs und spezialisierter Prozessoren verwenden, um all diese Aufgaben zu erledigen.

NXP hat sich jedoch für einen anderen Ansatz entschieden und hat einen Bildsignalprozessor (ISP), eine Neural Processing Unit (NPU) zur Beschleunigung des maschinellen Lernens und eine MPU in einem Gerät kombiniert:dem fortschrittlichen i.MX 8M Plus Anwendungsprozessor.

Abbildung 1. i.MX 8M Plus Anwendungsprozessor.

Cloud Computing vs. Edge Computing

Um zu verstehen, warum der Anwendungsprozessor i.MX 8M Plus leistungsstarke Lösungen für Edge-Computing bietet, ist ein gewisser Kontext erforderlich.

Cloud Computing bezieht sich auf die On-Demand-Verfügbarkeit von Computersystemressourcen außerhalb der Grenzen des Benutzernetzwerks. Diese Ressourcen können beliebiger Art sein. Sie werden jedoch normalerweise verwendet, um anspruchsvolle Aufgaben auszuführen und Daten zu speichern.

Cloud-basierte Rechenzentren sind oft nicht nur einem einzelnen Benutzer oder einer einzigen Organisation vorbehalten. Stattdessen werden die Ressourcen von allen Benutzern gemeinsam genutzt. Normalerweise verwenden öffentliche Cloud-Dienste ein Pay-as-you-go-Modell, was bedeutet, dass die Kosten schnell steigen können, wenn unnötige oder verrauschte Daten zur Verarbeitung in die Cloud hochgeladen werden.

Hier kann Edge Computing hilfreich sein. Edge Computing stellt innerhalb der Grenzen ihres Netzwerks einige Ressourcen zwischen den Benutzern und der Cloud. Typischerweise werden jedoch nicht alle Berechnungen am Rand durchgeführt. Stattdessen werden die Ressourcen am Edge verwendet, um Daten zu filtern und unerwünschte Elemente zu verwerfen, bevor sie in die Cloud hochgeladen werden und unnötige Kosten verursachen. Oft werden maschinelles Lernen und KI verwendet, um die Ergebnisse automatisch zu kategorisieren und nur relevante Informationen in die Cloud hochzuladen.

Es ist jedoch auch möglich, die Cloud vollständig wegzulassen und alle Machine-Learning-Inferenzen lokal auf einem Edge-Prozessor auszuführen – zum Beispiel dem i.MX 8M Plus-Anwendungsprozessor, der einige Vorteile bietet.

Potenzielle Vorteile der Verwendung von Edge Computing gegenüber Cloud Computing

Edge-Computing (wie das des i.MX 8M Plus) bietet eine Vielzahl möglicher Vorteile gegenüber Cloud-Computing, die es wert sind, genauer betrachtet zu werden.

Abgesehen vom Kostenfaktor reduziert die Reduzierung der Daten, die in die Cloud hochgeladen werden, auch den gesamten Netzwerkverkehr, was andere Anwendungen beschleunigen kann, die auf das Netzwerk angewiesen sind. Dies erhöht nicht nur die Effizienz bei den Aufgaben, für die sich der Prozessor speziell eignet, sondern setzt auch kritische Ressourcen für andere, untergeordnete Aktivitäten und Prioritäten frei.

Als nächstes bedeutet die lokale Ausführung der Inferenz, dass die Anwendung auch dann weiter funktionieren kann, wenn der Cloud-Dienst offline ist oder die Netzwerkverbindung unterbrochen wird. Dies kann ein wichtiger Faktor sein, insbesondere für sicherheitskritische Anwendungsfälle, aber auch für andere verbundene Anwendungen, wie zum Beispiel Heimsicherheitsgeräte.

Darüber hinaus bietet diese Lösung im Vergleich zur Nutzung eines Cloud-Dienstes eine bessere Latenz und kürzere Reaktionszeiten. Niedrige Latenzzeiten sind beispielsweise bei der visuellen Inspektion von Fabrikhallen und anderen zeitkritischen Anwendungen wichtig.

Schließlich ist die Privatsphäre der Benutzer ein weiterer zu berücksichtigender Faktor. Jeder externe Dienst stellt ein potenzielles Sicherheitsrisiko im Umgang mit vertraulichen Daten dar. Daher kann das Halten wichtiger Informationen innerhalb der Grenzen des Benutzernetzwerks die Sicherheit der gesamten Anwendung erhöhen. Dies ist nicht nur für Industrieanwender wichtig, sondern auch für Privatanwender und Kunden gleichermaßen wichtig, beispielsweise bei der Verwendung eines Sprachassistenten oder beim Arbeiten mit persönlichen Video- und Bilddateien.

Wie viel Leistung beim maschinellen Lernen wird benötigt?

Beim Cloud Computing ist die Leistung des maschinellen Lernens normalerweise kein Problem oder ein limitierender Faktor. Bei der Durchführung dieser Operationen am Edge stellt sich jedoch die Frage, wie viel Leistung benötigt wird. Eine beliebte Methode, um die Leistung des maschinellen Lernens zu messen, ist TOPS, ein Akronym für Billionen (Tera) Operationen pro Sekunde, und es bezieht sich, wie der Name schon sagt, auf die Anzahl (normalerweise 8-Bit-Integer-Multiplikation oder -Akkumulation) Operationen pro Sekunde . Die Gesamtleistung des Systems hängt jedoch von vielen weiteren Faktoren ab. TOPS wird jedoch immer noch häufig verwendet, um die Leistung von Machine-Learning-Systemen schnell zu vergleichen.

Die volle Spracherkennung (nicht nur Keyword-Spotting) am Rand erfordert eine Systemleistung von etwa ein bis zwei TOPS. Die tatsächliche Anforderung hängt stark vom verwendeten Algorithmus ab und davon, ob es wichtig ist, die Aussagen des Benutzers zu verstehen. Die Objekterkennung mit 60 Bildern pro Sekunde als weiteres Beispiel dauert etwa zwei bis drei TOPS, wenn ein Algorithmus wie Yolov3 verwendet wird.

Da Processing und Machine Learning am Edge immer relevanter werden, hat NXP den i.MX 8M Plus Applikationsprozessor um einen Machine Learning Accelerator mit einer Leistung von rund 2,3 TOPS erweitert und ist damit für verschiedene industrielle Aufgaben und viele andere bestens gerüstet Anwendungen, ohne dass externe Cloud-basierte Dienste verwendet werden müssen.

Abbildung 2. Der Anwendungsprozessor i.MX 8M Plus ist für verschiedene industrielle Aufgaben, die externe Cloud-basierte Dienste nutzen, bestens gerüstet.

Der i.MX 8M Plus ist bereit für Embedded Vision-basierte Systeme

Bisher wurden in diesem Artikel verschiedene Beispiele für Anwendungen erwähnt, die eine Kamera erfordern, um zu funktionieren. Eine davon war ein Vision-basiertes System, das fehlerhafte Teile am Ende einer Produktionslinie nach einer automatisierten optischen Inspektion aussortiert. Alle diese Systeme erfordern eine visuelle Eingabe, beispielsweise Bilder von einer Kamera. ISP-Funktionalität ist in jedem kamerabasierten System vorhanden. Häufig befindet sich der Bildsignalprozessor in einem externen Gerät, wie der Kamera selbst, und ist vor dem Benutzer verborgen. Solche ISPs kümmern sich normalerweise um einige verschiedene Bildoptimierungs- und Filteraufgaben.

In vielen Fällen kann man auf einen dedizierten ISP verzichten, beispielsweise bei der Verwendung einer einfachen USB-Webcam. Dann ist der ISP normalerweise bereits in die Kamera integriert, die alle notwendigen Konvertierungen durchführt, ohne dass der Benutzer es merkt.

Solche ISPs haben jedoch ihre Grenzen und funktionieren normalerweise gut für Auflösungen von bis zu zwei Megapixeln. Darüber hinaus können die fehlende Kontrolle über den ISP, die zusätzliche Komplexität und der zusätzliche Stromverbrauch in einigen Fällen problematisch sein.

Wenn eine höhere Bildauflösung als 2 MP (1080p) erforderlich ist, kann der Entwickler eingebetteter Systeme einen externen ISP verwenden, was wiederum die Gesamtkomplexität und den Stromverbrauch des Systems erhöhen würde. Alternativ könnte der Designer einen Anwendungsprozessor mit integriertem ISP verwenden, wie zum Beispiel den i.MX 8M Plus. Dieser Ansatz bietet eine optimierte Bildgebungslösung, insbesondere bei 2 Megapixel und höheren Auflösungen, ohne die Komplexität des Systems zu erhöhen.

Zusammenfassung

Edge Computing hat gegenüber Cloud Computing einige attraktive Vorteile und hat das Potenzial, die Art und Weise, wie wir in Zukunft arbeiten, leben und unsere Freizeit verbringen, zu verändern. Zu den Vorteilen zählen erhöhte Zuverlässigkeit, Skalierbarkeit und Sicherheit sowie geringere Latenzzeiten.

Mit dem Anwendungsprozessor i.MX 8M Plus hat NXP zwei Faktoren vereint, die moderne Anwendungen am Edge ermöglichen. Diese neue MPU wird die Entwicklung zahlreicher innovativer Industriegeräte und Verbraucherprodukte fördern. Es enthält einen ISP zum Aufbau moderner Vision-basierter Systeme, die hochauflösende Eingabedaten erfordern.

Die Bildinformationen vom ISP können direkt in die eingebaute NPU eingespeist werden, um Hochgeschwindigkeitsanwendungen zu ermöglichen, die auf Bilddaten angewiesen sind, während die CPU für andere Aufgaben frei bleibt. Darüber hinaus bietet der Applikationsprozessor i.MX 8M Plus noch einige weitere Features, die einen Blick wert sind, beispielsweise einen Ethernet-Controller mit Time-Sensitive Networking, einen DRAM-Controller, der ECC unterstützt, und eine Vielzahl unterschiedlicher Kerne für unterschiedliche Anwendungen.

Mit dem i.MX 8M Plus Anwendungsprozessor sind die Möglichkeiten für leistungsstarke Vision-basierte Anwendungen am Edge nahezu endlos, sei es für einen Smart Home Hub, eine intelligente Gebäudesteuerung oder industrielle Anwendungen.

Branchenartikel sind eine Inhaltsform, die es Branchenpartnern ermöglicht, nützliche Nachrichten, Nachrichten und Technologien mit All About Circuits-Lesern auf eine Weise zu teilen, für die redaktionelle Inhalte nicht gut geeignet sind. Alle Branchenartikel unterliegen strengen redaktionellen Richtlinien, um den Lesern nützliche Neuigkeiten, technisches Know-how oder Geschichten zu bieten. Die in den Branchenartikeln geäußerten Standpunkte und Meinungen sind die des Partners und nicht unbedingt die von All About Circuits oder seinen Autoren.