Hinzufügen von Edge Intelligence:ein Interview mit NXP

Ein zentrales Thema, das heute in vielen Vorträgen auf der embedded world 2021 klar behandelt wird, ist die weit verbreitete Einführung von Edge Computing, um Edge Intelligence zu ermöglichen. Einige Prognosen gehen davon aus, dass bis 2025 90 % aller Edge-Geräte eine Form von maschinellem Lernen oder künstlicher Intelligenz verwenden werden.

Was sind die Probleme bei der Aktivierung dieser Edge-Intelligenz, und wie setzen Sie sie um? Dies ist das Gesprächsthema in einem kürzlich erschienenen Podcast mit Ron Martino, Senior Vice President und General Manager des Edge-Processing-Geschäfts bei NXP Semiconductors. Während Sie sich hier den vollständigen Podcast anhören können, präsentieren wir in diesem Artikel einige Auszüge aus der Diskussion.

Edge-Computing definieren

Edge Computing ist im Kern die Fähigkeit zur effizienten Verarbeitung näher am Benutzer. Wir können schnellere Einblicke in Daten geben. Können Sie Edge Computing im Zusammenhang damit definieren, wie NXP damit umgeht?

Martino :Edge Computing ist vereinfacht gesagt eine verteilte lokale Berechnung und sensorische Fähigkeit. Es interpretiert, analysiert und verarbeitet die Sensordaten effektiv, um eine Reihe sinnvoller Funktionen auszuführen. Es versucht nicht, ein Ersatz oder eine Alternative zur Cloud zu sein, es wird komplementär. Klassischerweise werden beispielsweise bei der Sprachunterstützung viele Daten in die Cloud gesendet, wo die höhere Rechenkapazität zur Verbesserung des Erlebnisses verwendet wird. Edge Computing wird immer intelligenter und dann intelligenter. Smart Edge Computing gleicht die Nutzung von lokalem Computing mit zentralem oder Cloud-Computing aus. Da sich dies noch weiter entwickelt, gibt es mehr Intelligenz, bei der wir möchten, dass die Endgeräte mehr Möglichkeiten zur Interpretation und Analyse haben und dann lokal Entscheidungen treffen.

Können Sie einige Beispiele dafür nennen, wie Edge Computing verwendet wird, um eine bessere Produktivität und Sicherheit zu ermöglichen?

Martino :Im Hinblick auf die Produktivität ist die Verbesserung der Belegschaft ein gutes Beispiel:Nutzung von Edge-Processing oder tragbaren Geräten mit Vision und maschinellem Lernen, bei denen ein Mitarbeiter ein Problem diagnostizieren und schneller beheben kann, sei es zu Hause oder in einer Fabrik .

Intelligente Kantenschutzgeräte erhöhen die Sicherheit, indem sie verschiedene gefährliche Signale erkennen:durch das Erkennen von Alarmen, einer gestürzten Person oder einem Glasbruch und ermitteln dann das Problem mithilfe zusätzlicher Sensorinformationen und Berechnungen. Egal, ob es Radarsensorgeräte verwendet, die NXP entwickelt, ob es Vision-Funktionen verwendet oder nur die Audioeingabe in das Gerät interpretiert.

Wenn wir uns dem Umwelt- und Energiebewusstsein zuwenden, ist ein Konzept, das wir ansprechen sollten, das der Vampirkraft, bei der Sie Geräte anschließen und sie nichts tun, aber trotzdem Strom verbrauchen.

Wir bewegen uns auch zu einem Konzept des „Aware Edge“, bei dem Geräte mehr menschenähnliches Verhalten aufweisen. Sie beginnen, ihre Umgebung zu verstehen, sie aggregieren Eingaben und interagieren mit anderen Geräten, um Informationen zu sammeln und den Kontext der Situation zu verstehen, und treffen dann entsprechende Entscheidungen. Ein einfaches praktisches Beispiel dafür sind Verkehrsmuster mit lokaler Fähigkeit, die Menschenmengen und verschiedene Staupunkte interpretieren und die Situation lokal optimieren können, indem die Anzahl der Autos und die Bedingungen beobachtet und erfasst werden, um das Fahren effizienter zu gestalten, damit Sie keine Zeit verlieren.

Die Technologiekomponenten, die Edge-Intelligenz ermöglichen

Was sind aus technologischer Sicht die Elemente, die diesen intelligenten Vorsprung und den bewussten Vorsprung ausmachen?

Martino :Beginnen wir mit dem Fundament. Sie müssen über Rechenplattformen verfügen, und diese müssen skaliert werden. Sie müssen energieeffizient sein. Im Gegensatz zu früher geht es jetzt wirklich um mehrere unabhängige heterogene Compute-Subsysteme. Das bedeutet im Grunde eine GPU, eine CPU, eine neuronale Netzverarbeitungseinheit, eine Videoverarbeitungseinheit und einen DSP.

Wie optimieren Sie diese verschiedenen Hardwarebeschleuniger und Rechengeräte und optimieren sie für eine bestimmte Endanwendung? Hier zeichnet sich NXP durch den skalierbaren Rechenbereich mit all diesen anderen Elementen aus. Dann gibt es die Integration von optimierten Hardwarebeschleunigern oder Fähigkeiten, die auf Sprachanwendungen ausgerichtet sind, Mensch-Maschine-Interaktion, die sowohl Vision als auch Sprache umfasst, und dies dann auf eine Weise, bei der es wirklich zu extrem geringer Leckage kommt, mit Betriebsmodi, die sich anpassen können Optimieren Sie den Energieverbrauch selbst bei diesen großen On-Chip-Speichern wirklich, was notwendig ist, wenn Sie sich einige der Arbeitslasten ansehen.

Dies geht über die Optimierung der maschinellen Lernfähigkeit, die Sicherheitsintegration mit höchster Abdeckung für viele verschiedene Angriffsflächen, effiziente Konnektivität, effiziente Energienutzung sowie offene Standards. Es kann auch die von NXP angebotene Technologie nutzen, wie z. B. die hochgenaue Entfernungsmessung, unabhängig davon, ob es unsere UWB-Technologie verwendet, um den physischen Standort einer bestimmten Person oder eines Ortungsgeräts auf sehr genaue Weise zu lokalisieren.

Das Letzte ist, dies alles in eine nahtlose Benutzererfahrung zu hüllen, denn wenn es nicht einfach zu verwenden und nicht natürlich zu verwenden ist, wird es nicht verwendet. Daher ist es absolut wichtig, ein nahtloses, komfortables Erlebnis zu schaffen.

Wie kommt ein Benutzer dazu, solche Lösungen zu erstellen?

Martino :Wir bieten alles von einem einfachen Prozessor oder Mikrocontroller bis hin zu einer Referenzplattform, die für lokale Sprache, für Sicht-, Erkennungs- und Inferenzfähigkeit oder deren Kombination voroptimiert ist. Wir stellen Referenzplattformen zusammen, die ein Kunde erwerben kann, wie beispielsweise unsere RT-Gerätefamilie. Wir haben ein Gesichtserkennungsangebot, das gekauft werden kann, und das ist ein vollständig aktiviertes und entworfenes System, das ein Kunde als Ausgangspunkt nehmen kann, um ihn an seine Bedürfnisse anzupassen, wo er sich spezialisieren oder ein Branding machen möchte.

Technologieunterschiede in Verbraucher- und Industrieanwendungen

Die meisten in der Industrie werden zustimmen, dass intelligente Geräte und Systeme in unserem Zuhause und bei der Arbeit an Bedeutung gewinnen. Was sind einige der technologischen Unterschiede zwischen dem schlichten alten IoT, wie Sie sagen würden, und den industriellen Märkten?

Martino :Die Konnektivitätsstandards, Umweltanforderungen, Langlebigkeitsanforderungen (die 15 Jahre und mehr betragen können) und die Sicherheitsanforderungen sind im industriellen Bereich viel umfangreicher und anspruchsvoller, wenn man ihn mit der [Verbraucher]-IoT-Welt vergleicht. Ein Bereich, in den NXP investiert, ist zeitkritisches Networking (TSN) und die Integration von Mac und Switch in eine ganze Reihe von Geräten, die verkettete Setups mehrerer Maschinen unterstützen, arbeiten und Endpunktfunktionen unterstützen und diese deterministischer nutzen. TSN-Backbone, der auch viel höhere Datenraten und einen viel höheren Durchsatz unterstützt, auf den viele der Legacy-Standards konvergieren.

Vergleichen Sie dies mit [Verbraucher-] IoT-Märkten. Es besteht ein viel breiterer Bedarf an extremer Energieeffizienz, stärkerer Nutzung von Sprach-HMI, drahtloser Konnektivität und kürzerer Lebensdauer für Anwendungen wie Smart Homes und Wearables. Auf der Wearable-Front möchten Sie ein großartiges Benutzererlebnis, aber Sie möchten die längste Akkulaufzeit. Die Optimierung dieser Edge-Geräte, um ihre Funktionen zu erfüllen, aber dann herunterzufahren und die Akkulaufzeit zu erhalten, ist sehr wichtig, und diese wirklich reichhaltige Benutzererfahrung muss auf die effizienteste Weise erfolgen, da dies die Zeit ist, in der der Akku verbrannt wird.

Die Herausforderung der Interoperabilität

Im Smart Home-Bereich ist es oft schwierig, ein Produkt von einem Unternehmen auch mit anderen Geräten zum Laufen zu bringen. Wie versucht NXP, die Herausforderung der drahtlosen Interoperabilität von Smart Home zu ändern?

Martino :Am Beispiel von Smart-Home-Geräten sind die Standards und die Interoperabilitätsfähigkeit sehr fragmentiert. Wir haben ein Projekt namens CHIP oder „Connected Home over IP“, ein Standardprojekt. Es hat NXP sowie eine Reihe anderer Branchenführer, die zusammenarbeiten, um zu versuchen, nicht einen proprietären Standard, sondern einen in der gesamten Branche gemeinsamen offenen Standard zu konsolidieren, und ermöglicht es den Menschen, auf diesem offenen Standard aufzubauen.

Der Schwerpunkt dieses Projekts besteht darin, auf der langjährigen Arbeit von NXP und anderen rund um ZigBee und Thread und der ZigBee Alliance aufzubauen und darauf mit einer höheren Schichtfähigkeit aufzubauen, die die Technologien von Amazon, Apple, und die Googles haben diesen offenen Standard entwickelt, den wir als CHIP bezeichnen, und stellen diese gemeinsame Verbindung zwischen Geräten her. Wenn Sie etwas anschließen, ist es sehr einfach zu verbinden.

NXP plant, noch in diesem Jahr mit den ersten Versionen des CHIP-Standards tatsächliche Produkte auf den Markt zu bringen.

Umgang mit der Komplexität und den Kosten für das Hinzufügen von Edge-Intelligenz

Wir wenden uns maschinellem Lernen und KI am Edge zu. Klingt alles ziemlich komplex und kostspielig, oder?

Martino :Für viele ist KI und ML ein sehr komplexes abstraktes Konzept. Es gibt Prognosen, dass bis 2025 90 % aller Edge-Geräte eine Form von maschinellem Lernen oder künstlicher Intelligenz verwenden werden. Wir glauben wirklich, dass dies der Fall ist, und führen Produkte ein, die darauf optimiert sind. Es ist eine Kombination aus dem, was wir tun, um die verwendete Hardware, die Prozessoren und die Mikrocontroller zu optimieren, um diese Funktion auszuführen. Für den Endbenutzer geht es eher darum, wie komplex es ist, eine praktische ML bereitzustellen, die für den Endanwendungsfall von Bedeutung ist.

Es gibt viele Unternehmen, die Daten sammeln und eigene Modelle erstellen möchten. Worauf konzentriert sich NXP, wie ermöglichen wir eine Cloud-agnostische Funktion, die Flexibilität in einer einfachen Benutzeroberfläche oder Entwicklungsumgebung ermöglicht?

Das haben wir kürzlich mit unseren Investitionen in Au-Zone angekündigt und werden 2021 eine verbesserte Entwicklungsumgebung einführen, in der Sie die Art von Inhalten auswählen können, die Sie einbringen. Ihre eigenen Daten, Modelle, die Sie haben, oder Modelle, die Sie verwenden Sie haben sich entschieden, über Ihre bevorzugte Quelle oder Ihren bevorzugten Cloud-Anbieter zu erwerben, und bringen diese mit, optimieren sie und stellen sie auf dem Endgerät bereit. Weil es diese Optimierung ist.

Wie erhöht maschinelles Lernen die Kosten der Endlösung?

Martino :Wenn Sie ein sehr komplexes, umfangreiches Modell oder eine Fähigkeit zum maschinellen Lernen haben, erfordert dies eine viel höhere Rechenleistung, und je höher die Rechenleistung, desto teurer wird sie. Sie können dies auf einem Edge-Prozessor tun oder dies in einer Cloud bereitstellen. Wenn wir versuchen, diese Anwendungsfälle oder diese Modelle für einen bestimmten Anwendungsfall abzustimmen, können Sie sehr effizient werden und dann die traditionelle Technologieskalierung und das Mooresche Gesetz nutzen, um wirklich ML-spezifische Hardwarebeschleunigung hinzuzufügen, die nicht in Anspruch genommen wird viel Siliziumfläche.

Es wird zu einem kleinen Kostenfaktor, aber zu einer sehr optimalen Fähigkeit, die gegebene Arbeit auszuführen, die Sie möchten. Ob es nun darum geht, Personen zu erkennen und zu identifizieren, wer sie vor Ort sind, zum Beispiel, Sie können dies jetzt sehr effizient auf einem Mikrocontroller tun, der mit einer sehr, sehr effizienten Siliziumimplementierung optimiert ist. Dann können Sie es auch mit einigen unserer Prozessoren skalierbar machen, wo Sie auf einen externen, leistungsfähigeren neuronalen Netzprozessor skalieren können, oder Sie arbeiten komplementär mit der Cloud. Auch hier ist alles mit Kosten verbunden und hängt von der Komplexität der Aufgabe ab, aber es kann sehr effizient bis sehr komplexe Funktionen sein, die Sie einführen können.

Ethische KI

Die Besorgnis über Verzerrungen in ML-Modellen und KI wächst. Welche Rolle spielt die Industrie bei der Sicherstellung einer ethischen KI?

Martino :Es braucht eine klare Transparenz der Bedienung, ob es um einfache Konzepte wie „Ich möchte wissen, dass es mir zuhört oder beobachtet“ geht, aber auch, wie es seine Schlussfolgerung bestimmt, um dann eine Aktion zu unternehmen, wird sehr wichtig. Sicherheitsstandards, um sicherzustellen, dass die Systeme sicher sind und keinen Hintertürzugriff oder andere Empfindlichkeiten oder Schwachstellen in Bezug auf ihre Angriffsfläche aufweisen, sodass jemand auf ein KI-System zugreifen und es dann beeinflussen kann, um bestimmte Dinge zu tun oder bestimmte Entscheidungen zu treffen, die kann für die Person günstig sein, die das System angreift.

Wie implementieren Sie KI-Systeme, die keinen voreingestellten Bias haben, der prinzipiell falsch ist? Bei NXP haben wir eine KI-Ethikinitiative gestartet, die unser Engagement für diese ethische Entwicklung unterstreicht. Darin sprechen wir über Gutsein, wir sprechen über den Erhalt einer menschenzentrierten KI, bei der es wirklich darum geht, Unterordnung oder Zwang durch ein KI-System zu vermeiden, sowie diese Transparenz, den hohen Anspruch an wissenschaftliche Exzellenz sowie Vertrauen in KI-Systemen.

Welche Herausforderungen sehen Sie bei der Implementierung von Spitzentechnologie noch?

Martino :Dies ist eine fortlaufende Aktivität, und es gibt viele Bereiche für eine kontinuierliche Optimierung. Energieeffizienz und das Antreiben und Nutzen von Energy Harvesting-Konzepten und der grenznahe Betrieb von Geräten ist eine kontinuierliche Investition vieler in der Branche. Sicherheit und die Notwendigkeit, Daten zu schützen und dies ständig voranzutreiben, ist eine fortlaufende Aktivität.

Investitionen in siliziumspezifische Signaturen und verschiedene Arten von Kryptografie sowie Methoden zur geschützten Durchführung von Computern wie homomorphe Verschlüsselung, Berechnungen in einer verschlüsselten Umgebung und niemals Entschlüsselung. Dann erweitert sich die Konnektivität um den Durchsatz in den Latenzanforderungen sowie den Stromverbrauch. Um dies zu optimieren, werden wir die Konnektivität weiter optimieren und diese auf immer effizientere Weise in diese Edge-Geräte einbringen.

Schließlich, dieses ganze Konzept der bewussten Endintelligenz, wir befinden uns in einer dritten Generation der Entwicklung und Implementierung von neuronalen Netzwerkprozessoren oder Subsystemen, die in unsere Prozessoren integriert werden. Dies treibt Effizienz- und Skalierungsverbesserungen voran, aber es wird weiterhin in diesem Bereich geforscht, um mit Beschleunigern und verschiedenen Technologien rund um das Spiking neuronaler Netze sowie Quanten-KI höhere Effizienzgrade zu erzielen. In naher Zukunft werden wir ganz klar eine kontinuierliche Entwicklung um traditionellere Beschleuniger und deren Integration in diese skalierbaren Prozessoren sehen, die NXP auf den Markt bringt.

Hier kannst du dir den kompletten 27-minütigen Podcast „Empowering the edge überall“ anhören.