Verwenden von KI und ML zum Extrahieren umsetzbarer Erkenntnisse in Edge-Anwendungen

Wenn Daten an der Edge beginnen, warum können wir dann aus KI-Sicht nicht so viel wie möglich direkt dort tun?

Das explosionsartige Wachstum von Edge-Geräten und -Anwendungen erfordert ein neues Denken darüber, wo und wie Daten analysiert und Erkenntnisse gewonnen werden. Neue Edge-Computing-Optionen in Verbindung mit anspruchsvolleren Speed-to-Insight-Anforderungen in vielen Anwendungsfällen treiben den Einsatz von künstlicher Intelligenz (KI) und maschinellem Lernen (ML) in Edge-Anwendungen voran.

Wo KI und ML angewendet werden (am Edge oder in einem Rechenzentrum oder einer Cloud-Einrichtung), ist eine komplexe Angelegenheit. Um einige Einblicke in aktuelle Strategien und Best Practices zu erhalten, haben wir uns kürzlich mit Said Tabet, Chief Architect, AI/ML &Edge, zusammengesetzt; undCalvin Smith, CTO, Emerging Technology Solutions; beide im Büro des Global CTO bei Dell Technologies.

Wir haben den wachsenden Bedarf an KI und ML besprochen, um die große Menge an Edge-Daten, die heute generiert werden, sinnvoll zu machen, die Rechenanforderungen für KI/ML in Edge-Anwendungen und ob solche Berechnungen am Edge oder in einem Rechenzentrum oder einer Cloud-Einrichtung durchgeführt werden sollten.

Neue Trends

RTInsights: Was sind die aufkommenden Trends von heute und wie passen KI und ML in die Edge-Diskussion?

Tabet: Wenn Menschen heute über neue Trends sprechen, erwähnen sie oft viele Dinge wie Edge, IoT, KI/ML, Augmented Reality, Virtual Reality, Blockchain und 5G. Wir positionieren Edge als nächsten Schritt in Bezug darauf, wohin wir mit diesen Technologien gehen – nicht nur Trends, sondern echte Akzeptanz. Ich denke, aus der Perspektive der Daten und der Benutzererfahrung besteht ein Bedarf an Einblicken und dank unserer Ungeduld als Menschen, gepaart mit Latenzproblemen in der realen Welt, um diese Einblicke so schnell wie möglich zu erhalten. Auch die Idee, dass, wenn die Daten am Edge beginnen, warum wir aus KI-Sicht nicht so viel wie möglich direkt dort tun können?

Offensichtlich ist KI und insbesondere ML gierig in Bezug auf die benötigte Datenmenge. Es muss schnell lernen. Was können wir am Edge wirklich tun? Ich denke, da fängt diese Diskussion an. Blockchain oder Distributed Ledger sind weitere Bereiche, die hier in Betracht gezogen werden. Typischerweise werden Sie einen großen Vertrauensbedarf sehen, insbesondere aus Datensicht. Es muss auch auf die Erkenntnisse vertraut werden, die wir generieren, wie wir reagieren, und auf die umsetzbaren Elemente, die sich aus diesen Erkenntnissen ergeben. Dies bringt zusätzlichen Bedarf aus Sicht der Gesamtsicherheit, des Datenschutzes und der Governance mit sich. All dies müssen Sie bei dieser Erfahrung berücksichtigen, egal ob Sie eine Geschäftsperson, eine Einzelperson oder eine Fahrzeugflotte sind.

Smith: Nehmen wir eine allgemeine Schätzung, dass heute zwischen 20 und 30 Milliarden IoT-Geräte angeschlossen sind. Wenn ich zurückblicke, sagte Said, ich glaube, es war im Jahr 2014 oder so, dass die Zahl der vernetzten Mobilgeräte die Zahl der Menschen auf der Welt überstieg, richtig? Dann, im Jahr 2017, überholten IoT-Geräte auch die Weltbevölkerung.

Tabet: Ja. Das stimmt.

Smith: Es war ein großer Sprung und es wird weiter springen. Werden Sie 27 Milliarden Menschen einstellen, um diese Edge-Geräte zu warten und zu warten? Wenn wir dann den Stack der Infrastruktur nach oben durchgehen, ist es natürlich keine 1:1-Abbildung, aber es ist physisch unmöglich, genügend Datenbankadministratoren, Datenwissenschaftler, Architekten und Ingenieure einzustellen. Stattdessen dreht sich alles um Fahrautomatisierung und -optimierung am Edge. Allein die schiere Menge an Daten und, wie Dr. Tabet erwähnte die Gier nach Anwendungen und Funktionen, insbesondere in der KI. Sie müssen in der Lage sein, eine große Menge an Informationen aus mehreren Gründen zu verarbeiten, von denen einer die Kosten sind. Sie möchten analysieren, was wirklich wertvolle Daten am Edge sind, bevor Sie damit beginnen, sie an das Rechenzentrum oder die Cloud zu senden.

Die Rolle von KI/ML bei Edge

RTInsights: Warum brauchen wir KI/ML, wenn wir über Edge sprechen?

Tabet: Es gibt verschiedene Gründe. Da ist zunächst das Warum. Aus der Perspektive der Automatisierung sind KI und ML eine Möglichkeit, mehr zu automatisieren und ein bisschen disziplinierter damit umzugehen, und das tun Sie am Edge. Das sieht man heute. Es muss durch diese Sichtweise des Aufbaus dieses Kontinuums von der Cloud bis zum Edge, einschließlich der Datenebene oder der Steuerungsebene und der Entwicklungskits usw., erzwungen werden, dass die Entwickler das Gefühl haben, wenn ich für den Edge schreibe, ist es das das gleiche wie die Wolke.

Aus der KI-Perspektive ist Automatisierung eine große Sache. Am Edge werden Sie dort nicht die wirklich tiefe Verarbeitung (d. h. Deep Learning – DL) durchführen, zumindest nicht normalerweise. Der andere Aspekt, den ich für wirklich wichtig halte, ist die Tatsache, dass die Einblicke, die Sie am Edge sehr schnell erhalten, oft anders sein werden als die, die Sie in Ihre Rechenzentren oder in Ihre Cloud bringen und die mit anderen verbinden Arten von Informationen. An diesem Punkt verlieren Sie viel Intelligenz, in Bezug auf die Erkenntnisse, die Sie bereuen, oder die Entscheidungsfindung, die Sie treffen werden, wenn Sie dies bei theEdge tun. Trotzdem braucht der Edge KI. Sie gehen Hand in Hand.

Smith: Ich denke, der andere Grund ist ein geschäftlicher. All diese „Dinge, Sensoren, Aktoren, Geräte“ können so groß sein wie ein vernetztes Zuhause, ein vernetztes Kreuzfahrtschiff oder ein vernetztes Auto. Oder sie können sich in oder an einer Fabrik, einem Traktor oder einer Pumpe befinden. Lange Rede kurzer Sinn, alle Industrien werden jetzt kommerzialisiert, richtig? Es besteht die Möglichkeit, Dinge rund um den Globus zu bauen und zu kaufen. Die Art und Weise, wie Unternehmen versuchen, sich zu differenzieren, besteht in Dienstleistungen in Verbindung mit den von ihnen verkauften Produkten und Vermögenswerten. Je mehr Sie wertschätzen, desto mehr Unternehmen wechseln von einem Produkt zu einer Dienstleistung. Es nennt sich Produkt-zu-Service-Transformation.

Sie versuchen erneut, ihre Vermögenswerte als Dienstleistungen zu verkaufen. Manchmal ist es sogar ein Wechsel im Geschäftsmodell und geht von CapEx zu OpEx. Manchmal werden sie immer noch nur als CapEx verkaufen, aber sie können möglicherweise eine zusätzliche Reihe von Dienstleistungen verkaufen oder sie einfach als Unterscheidungsmerkmal nutzen, wenn ihre Produkte intelligent und vernetzt sind. Nochmals, wie Said erwähnte, optimieren und automatisieren und dazu in der Lage sein die richtigen Daten zur richtigen Zeit abrufen, und der richtige Ort versetzt Unternehmen in die Lage, wettbewerbsfähig zu sein. Die einfache Herstellung eines Artikels bringt nicht mehr immer einen Wert.

Tabet: Eine weitere Sache, die ich hinzufügen möchte, ist, dass Sie am Edge, wenn wir diese Zehn- oder Hunderttausende von Geräten eines einzelnen Unternehmens oder einer einzelnen Organisation betrachten, sei es in autonomen Fahrzeugen, die Autos als Instanzen betrachten, jedes einzelne davon diese Autos können sich unter verschiedenen Umgebungen unterschiedlich verhalten. Daraus zu lernen ist sehr wichtig, wenn man es zusammenbringt. Dasselbe gilt für die industrielle Automatisierung. Sie können sich Windkraftanlagen, Triebwerke in Flugzeugen oder das Gesundheitswesen ansehen. In vielen dieser unterschiedlichen Umgebungen haben Sie eine viel präzisere, viel effizientere und bessere Leistung dieser KI-Module oder KI-Algorithmen, wenn Sie diese Informationen zurück in das Rechenzentrum oder in die Cloud bringen. Mit anderen Worten, obwohl Daten von einem Asset definitiv einen Wert haben, beginnen Sie, echte Erkenntnisse aus vernetzten Flotten von Assets und deren Interaktionen in verschiedenen Umgebungen zu gewinnen.

Entscheidung, wo Edge AI/ML durchgeführt werden soll

RTInsights: Wo wird die KI/ML-Rechenarbeit für Edge-Anwendungen geleistet?

Tabet: Dies geht auf den vorherigen Punkt zurück, wo in vielen dieser Fälle die KI-Algorithmen eine große Menge an Daten zum Trainieren benötigt haben. Sie tun dies (und es gibt Meinungsverschiedenheiten) im Rechenzentrum oder in der Cloud, in einer zentralisierten Umgebung, in der Sie über diese leistungsstarken Rechenfunktionen verfügen können. Am Edge würden Sie diese Algorithmen einsetzen, und sie können viel effizienter zur Beeinflussung am Edge eingesetzt werden. Es ist offensichtlich die Rede davon, dass wir irgendwann auch am Edge ein gewisses Maß an Training absolvieren können. Dies wird zunächst aufgrund der starken Einschränkungen der meisten Edge-Umgebungen begrenzt sein.

Überlegungen zum Edge-Computing

RTInsights: Was sind die Anforderungen an Compute-Lösungen am Edge?

Tabet: Nun, das ist sehr knifflig, weil es verschiedene Definitionen dessen gibt, was Edge ist. Sie sprechen mit einem Autohersteller und sie sagen, mein Auto sei der Edge. Wenn Sie mit einem Turbinenhersteller sprechen, sind die Windturbinen ihr Vorteil. Fertigungsgeräte in einer Fabrik sind ebenfalls Edge. Sie werden unterschiedliche Umgebungen haben. Einige von ihnen werden sehr hart sein. Bei Dell haben wir viel Erfahrung mit Computern in Umgebungen gesammelt, die diese rauen Bedingungen mit starken Vibrationen und extrem hohen oder extrem niedrigen Temperaturen umfassen können. Das einzige, was ich sagen würde, ist die wichtigste Anforderung [für Computerlösungen am Rand] ist der Stromverbrauch. Es muss eine niedrige Leistung sein. Das widerspricht allem, was wir wissen, insbesondere bei HPC, richtig? Sie verwenden viele GPUs, Sie haben Wärme und brauchen Strom. Das ist in diesen [Edge]-Umgebungen nicht möglich. Wir müssen diese [die Rechenkomponenten] auf einen anderen Formfaktor bringen, oder vielleicht denken wir sogar an verschiedene Arten von Beschleunigern, wie z. B. eine neue Generation von KI-spezifischen Arten von Beschleunigern, die in den nächsten Jahren auf den Markt kommen.

Smith: Das Coole und Interessante ist, dass wir in rauen Umgebungen kontinuierlich in einer robusten Weise arbeiten können und in der Lage sind, beispielsweise bei minus fünf, manchmal 10 Grad Celsius und dann bis zu 55 Grad Celsius und mehr zu arbeiten. Wie Dr. Tabet erwähnte, müssen Sie in gefährlichen oder rauen Umgebungen in der Lage sein, Probleme im Zusammenhang mit Vibrationen, Stößen und all dieser Art von Jazz zu verhindern. Dennoch sind wir in der Lage, die Formfaktoren immer kleiner zu machen , tun wir dies mit Hilfe unserer Partner und Chipentwickler.

Interessant ist diese Idee, die Formfaktoren kleiner und robuster zu machen und sie gleichzeitig so einfach zu bedienen und zu verwenden wie möglich. Aus Anwendungssicht geht es nicht darum, dass die Cloud per se am Edge ausgeführt wird, obwohl das auch passieren kann. Es geht mehr darum, Cloud-native Prinzipien auf den Edge zu bringen. Die Einfachheit und Leichtigkeit, mit der Sie Container oder VMs [virtuelle Maschinen] auf verschiedene Arten von Infrastrukturen und verschiedene Arten von Umgebungen portieren können und eine zentrale Ansicht haben. Das kann dann möglicherweise auch eine Multi-Cloud-Umgebung ermöglichen. Der Edge kann Ihr neuer Kontrollpunkt sein, Ihre neue gläserne Sicht auf das Geschehen, die die Lücke zwischen der OT- oder Betriebstechnologieseite und der IT-Seite schließt. Es ist faszinierend. Es ist eine neue Grenze für die Erforschung, und es bestimmt einen Großteil der Produkt-Roadmaps für die Zukunft, würde ich sagen.

Edge AI/ML-Anwendungsfälle

RTInsights: Können Sie einige Beispiele für AI/ML Edge-Anwendungen nennen?

Tabet: Eine, an der ich seit einigen Jahren arbeite, dreht sich um die Herausforderungen im Zusammenhang mit Mobilitätsanwendungen [wie autonomen Fahrzeugen]. In Zusammenarbeit mit mehreren Organisationen und direkt mit unseren Kunden prüfen wir, wie wir verschiedene Fähigkeiten auf diesen Markt bringen können. Ich werde das ein wenig abstrahieren und Ihnen auch die Beispiele geben, die diese Art von Edge-Bereitstellung erleichtern könnten. Es gibt Anwendungsfälle für Edge in dem, was wir die RSU nennen, die Roadsideunits, die Fahrzeuge selbst oder mit der Wahrnehmung, dass sie es tun. Einige dieser Beispiele sind erweiterte Versionen dessen, was wir HD-Karten nennen, hochauflösende Karten, bei denen die Karten semantisch reich und kontextgesteuert sind und in nahezu Echtzeit aktualisiert werden.

Das ist ein Beispiel, wo KI verwendet wird, um die Menge und die Kosten der übertragenen Daten zu reduzieren. Sie beschäftigen sich nur mit dem, was Sie für diese speziellen Dienste benötigen. Beispielsweise können Videos reduziert werden. Sie können die Datenmenge reduzieren. Sie können sich auf ganz bestimmte Objekte konzentrieren, die Sie erkennen möchten. Das sind die Art von Beispielen auf dieser Ebene, die helfen können.

Andere beziehen sich auf den Zustand dieser Edge-Geräte, bei denen Sie ein bestimmtes Gerät, einen Motor, ein komplettes Auto usw. überwachen und versuchen, so viele Analysen wie möglich auf Fahrzeug- oder Geräteebene durchzuführen, insbesondere zur Sicherheit Gründen (d. h. zustandsbasierte Überwachung in vielen IoT-Anwendungsfällen).

Es gibt auch andere Beispiele im Einzelhandelsbereich, wo Sie viel mehr Edge-Bereitstellung sehen werden, aber auf andere Weise. In gewissem Sinne haben Sie diese Verbindung vom Edge zur Cloud zum Rechenzentrum, in der Edge-Cloud, wie wir es nennen, wo Sie am Edge so viel wie möglich tun. [The Edge is where] Sie sammeln die Daten und führen alle erforderlichen Analysen durch. Sie bieten dem Endbenutzer beispielsweise im Einzelhandel ein besseres Erlebnis. Sie versuchen erneut, diese Erfahrung für sie zu personalisieren, damit Sie die Kosten minimieren, aber auch die Dienste optimieren können.

Gerade jetzt, gerade in der Situation, in der wir uns befinden, gibt es viele Fälle, die mit dem Gesundheitswesen zu tun haben. Wie viele Daten können wir am Edge sammeln und so schnell wie möglich darauf reagieren? Normalerweise sprechen wir von einer verteilten Umgebung im Maßstab von Hunderttausenden oder Millionen von Geräten, wie Calvin sagte. Dies ist ein Bereich, in dem KI und ML eine viel größere Rolle spielen können. Wir sprechen ständig über die Datenänderungen, und mit den KI-Fähigkeiten würden sich einige dieser Anwendungen selbst anpassen. Das Lernen geht weiter, und das Training geht auf diesem Niveau weiter.

In all diesen Bereichen – Gesundheitswesen, Einzelhandel, autonome Fahrzeuge, Mobilität im Allgemeinen und vielen anderen Bereichen – senken Sie die Kosten durch vorausschauende oder bedingte Wartung. Edge bietet Ihnen auch die Möglichkeit, Geräte fernzusteuern. Wenn Ihre Experten also nicht sicher an den Ort gehen können, an dem die Daten gesammelt werden, können sie diese Funktion tatsächlich aus der Ferne bereitstellen und sogar Dinge wie AR oder VR einbeziehen. Aber Sie erledigen auch die meiste Arbeit im Voraus am Edge, sodass Sie ihre Anwesenheit bei Bedarf persönlich minimieren können. Das sind nur einige Beispiele.

Smith: Ich würde zwei mehr hinzufügen, als wichtig sind. Einer davon ist, dass wir ein großes Geschäft in und um Sicherheit haben. Wie Said bereits erwähnt hat, können Sie die sehr großen Algorithmen ausführen und die Daten für Dinge verarbeiten wie … nun, lassen Sie mich Ihnen ein Beispiel geben. Stellen Sie sich vor, Sie haben ein Szenario, in dem an einem öffentlichen Ort ein Schuss fällt, sagen wir, es ist außerhalb einer Tankstelle. Sie müssen viele automatisierte und sofortige Entscheidungen treffen, um herauszufinden, welche Vorgehensweise zu ergreifen ist. Eine Sache ist, denken Sie an die Schusserkennung aus Audio-Sicht, aber korrelieren Sie sie mit der Objekterkennung aus Computer-Vision-Sicht, um tatsächlich zu zeigen, dass es sich um eine Waffe handelt , und nicht nur eine Autofehlzündung.

Wenn Sie dann einen Täter haben, der dies getan hat, können Sie auch Algorithmen haben, die jetzt eigentlich ziemlich vereinfacht sind, die am Edge ausgeführt werden können, aber wahrscheinlich aus dem Rechenzentrum stammen, für Dinge wie die Nummernschilderkennung. Dann können Sie das Nummernschild des flüchtenden Verdächtigen identifizieren. Es ist alles automatisiert und wird am Edge ausgeführt. Es gibt viele Anwendungsfälle in diesem Bereich, die Kameras, Überwachung, Sicherheit und allgemeine Sicherheit für die Bürger betreffen.

Der andere große Anwendungsbereich, den wir meiner Meinung nach nicht erwähnen sollten, ist Deep Learning für Smart Facilities, eine Testumgebung im Industrial Internet Consortium, das wir vor einiger Zeit mit Toshiba gegründet haben. Seit seiner Gründung haben wir auch SAS und Wipro hinzugefügt, wobei verschiedene Unternehmen unterschiedliche Werte auf den Tisch bringen.

Die ursprüngliche Idee war, eine riesige Anlage nach dem neuesten Stand der Technik zu bauen. Wenn ich mich nicht irre, glaube ich, dass es 2011 gebaut wurde, und es hatte bereits, wie viele Sensoren, sagte er? Etwa 20.000 Sensoren oder so?

Tabet: Mehr noch, würde ich sagen. Als es 2011 gebaut wurde, waren es wahrscheinlich 35.000.

Smith: 35.000, richtig. Es war eine brandneue, hochmoderne Einrichtung, aber die Designer wollten an die Grenzen gehen und mehr lernen und tun. Ein neuronales Netzwerk wurde durch eine Reihe von Servern implementiert, die mit einem Parameterserver verbunden waren, wodurch das Gebäude in Verbindung mit seinen kritischen Systemen im Wesentlichen selbstlernen konnte. Wir sprechen über Dinge wie Aufzüge und Rolltreppen und natürlich über teure Dinge wie HVAC-Systeme. Die Idee war, zumindest anfangs Anomalien zu erkennen und nach Korrelationen zwischen Dingen zu suchen, die ein Mensch (ohne KI) nur schwer finden könnte.

Beispielsweise gab es einige sehr faszinierende Erkenntnisse über Dinge, die in der Küche passierten. Die Daten ergaben, dass diese Ereignisse tatsächlich Kosten verursachten und aufgrund dieser Aktionen bestimmte Lüftungsbereiche geschlossen wurden. Es ist unglaublich, was man anfangen kann zu finden, wenn es die Daten sind und nicht Menschen, die Dinge untersuchen. Wir sprechen von einem echten, tiefen neuronalen Netz, in dem es selbstlernt – sich selbst beibringt, was zu finden ist, und nach Kreuzkorrelationen sucht, die Menschen normalerweise nicht selbst bestimmen würden. Wenn Sie wirklich darüber nachdenken, war das alles am „Edge“. Dies alles wird innerhalb des Gebäudes ausgeführt. Dann befand sich natürlich ein Teil der Kernverarbeitung wieder im Rechenzentrum.

Tabet: In einem neueren Anwendungsfall für ein Projekt haben wir eine Reihe von Geräten hinzugefügt, ähnlich all diesen Anlagen, die sich mit HLK und anderen Dingen innerhalb des Gebäudes befassen. Jedes von ihnen war mit seinen eigenen Algorithmen für maschinelles Lernen oder in einigen Fällen KI-Algorithmen ausgestattet. und das ermöglichte es ihnen, sich selbst zu tragen, aber gleichzeitig voneinander zu lernen. Zurück zu Calvins Geschichte, dies geschieht so, dass wir immer mehr von dieser Art autonomer KI sehen werden, wenn ich diesen Begriff verwenden darf. Wirklich, die Idee, dass wir ihm keine Richtung geben, aber im Laufe der Zeit wird er sich in Bezug auf seine Parameter und die erforderliche Optimierung der Produktivität selbst nivellieren und selbst lernen.