Actionable Edge Insights mit KI & ML freisetzen

Wenn Daten am Edge entstehen, warum können wir nicht so viel wie möglich direkt dort aus KI-Sicht tun?

Das explosive Wachstum von Edge-Geräten und -Anwendungen erfordert neues Denken darüber, wo und wie Daten analysiert und Insights gewonnen werden. Neue Edge-Computing-Optionen, gekoppelt mit anspruchsvolleren Speed-to-Insight-Anforderungen in vielen Use Cases, treiben den Einsatz von künstlicher Intelligenz (KI) und maschinellem Lernen (ML) in Edge-Anwendungen voran.

Wo KI und ML angewendet werden (am Edge, im Rechenzentrum oder in der Cloud) ist eine komplexe Frage. Um Einblicke in aktuelle Strategien und Best Practices zu erhalten, sprachen wir kürzlich mit Said Tabet, Chief Architect, AI/ML & Edge; und Calvin Smith, CTO, Emerging Technology Solutions; beide im Office of the Global CTO bei Dell Technologies.

Wir diskutierten den wachsenden Bedarf an KI und ML, um Sinn in die großen Datenmengen zu bringen, die heute am Edge generiert werden, die Compute-Anforderungen für KI/ML in Edge-Anwendungen und ob solche Berechnungen am Edge oder in einem Rechenzentrum/Cloud durchgeführt werden sollten.

Neue Trends

RTInsights: Was sind heute die neuen Trends, und wie passen KI und ML in die Edge-Diskussion?

Tabet: Heute, wenn Leute über neue Trends sprechen, nennen sie oft viele Dinge: Edge, IoT, KI/ML, Augmented Reality, Virtual Reality, Blockchain und 5G. Wir positionieren Edge als das Nächste in Bezug auf den Weg, den wir mit diesen Technologien gehen – nicht nur Trends, sondern echte Adoption. Ich denke, aus Perspektive der Daten und User Experience gibt es einen Bedarf an Insight und – dank unserer Ungeduld als Menschen, gekoppelt mit realen Latenzproblemen – diesen Insight so schnell wie möglich zu bekommen. Auch die Idee: Wenn Daten am Edge entstehen, warum können wir nicht so viel wie möglich direkt dort aus KI-Sicht tun?

Offensichtlich sind KI, besonders ML, gierig in Bezug auf die Datenmenge, die sie brauchen. Sie müssen schnell lernen. Was können wir wirklich am Edge tun? Da beginnt diese Diskussion. Blockchain oder Distributed Ledger sind andere Betrachtungsbereiche. Typischerweise sieht man Bedarf an großem Vertrauen – besonders aus Datensicht. Es muss auch Vertrauen in die generierten Insights geben, wie wir reagieren und die actionable Items, die aus diesen Findings kommen. Das bringt zusätzliche Notwendigkeiten aus Gesamt-Sicherheit, Privacy und Governance. Man muss all das in diesem Erlebnis berücksichtigen – ob man Business-Person, Individuum oder Fahrzeugflotte ist.

Smith: Nehmen wir eine grobe Schätzung: 20 bis 30 Milliarden IoT-Geräte heute verbunden. Zurückblickend, Said: War es 2014, dass verbundene Mobilgeräte die Weltbevölkerung überholten? 2017 haben IoT-Geräte die globale Bevölkerung auch überholt.

Tabet: Ja, richtig.

Smith: Ein riesiger Sprung, und er wird weiter springen. Werden Sie 27 Milliarden Leute einstellen, um diese Edge-Geräte zu warten? Dann, durch den Infrastructure-Stack: Es ist kein 1:1-Mapping, aber physisch unmöglich, genug DB-Admins, Data Scientists, Architekten und Ingenieure einzustellen. Stattdessen geht es darum, Automatisierung und Optimierung am Edge voranzutreiben. Die schiere Datenmenge und – wie Dr. Tabet erwähnte – die Gier von Anwendungen und Funktionen, speziell in KI. Man muss in der Lage sein, viele Informationen für mehrere Gründe zu verarbeiten – einer ist Kosten. Man will am Edge analysieren, was tatsächlich wertvolle Daten sind, bevor man sie ins Rechenzentrum oder die Cloud sendet.

Die Rolle von KI/ML am Edge

RTInsights: Warum brauchen wir KI/ML, wenn wir über Edge sprechen?

Tabet: Mehrere Gründe. Erstens das Warum. Aus Automatisierungsperspektive sind KI und ML ein Weg, mehr zu automatisieren und etwas disziplinierter dabei zu sein – und das am Edge. Man sieht das heute. Es muss durch diese Sicht erzwungen werden: Aufbau eines Kontinuums von Cloud zum Edge, inklusive Data Plane, Control Plane, Development Kits etc., damit Entwickler fühlen: Wenn ich für Edge schreibe, ist es dasselbe wie für Cloud.

Aus KI-Sicht ist Automatisierung groß. Am Edge macht man nicht das wirklich tiefe Processing (Deep Learning – DL), zumindest meist nicht. Der andere wichtige Aspekt: Die Insights, die man sehr schnell am Edge bekommt, sind oft anders als die, die man zu Rechenzentren oder Cloud bringt, verbunden mit anderen Informationen. An diesem Punkt verliert man viel Intelligence-Momentum – in Bezug auf Insights oder Entscheidungsfindung, wenn man das am Edge macht. Trotzdem braucht der Edge KI. Sie gehen Hand in Hand.

Smith: Der andere Grund ist geschäftlich. All diese „Things, Sensoren, Aktuatoren, Geräte“ – sie können so groß sein wie ein vernetztes Zuhause, ein vernetztes Kreuzfahrtschiff, ein vernetztes Auto. Oder sie können in oder auf einer Fabrik, einem Traktor, einer Pumpe sein. Kurz: Alle Branchen werden jetzt kommoditisiert. Es gibt die Option, Dinge weltweit zu bauen und zu kaufen. Wie Unternehmen sich differenzieren: durch Services in Verbindung mit den Produkten und Assets, die sie verkaufen. Je mehr Wert man ableiten kann, desto mehr Unternehmen wechseln von Produkt zu Service. Man nennt es Product-to-Service-Transformation.

Sie versuchen, ihre Assets als Services zu verkaufen. Manchmal ist es sogar ein Business-Model-Switch von CapEx zu OpEx. Manchmal verkaufen sie noch als CapEx, aber können zusätzliche Services verkaufen oder es als Differenzierer nutzen, wenn ihre Produkte smart und vernetzt sind. Wieder: Wie Said sagte – Optimieren, Automatisieren und die richtigen Daten zur richtigen Zeit am richtigen Ort ziehen ermöglicht Unternehmen zu konkurrieren. Einfach ein Item herzustellen, bringt nicht mehr immer Wert.

Tabet: Ein weiterer Punkt: Am Edge, wenn wir Zehntausende oder Hunderttausende Geräte eines einzelnen Unternehmens betrachten – ob autonome Fahrzeuge (Autos als Instanzen), jedes Auto verhält sich unter verschiedenen Umgebungen anders. Daraus zu lernen, ist wichtig, wenn man es zusammenbringt. Gleiches in der Industrieautomation: Windturbinen, Flugzeugtriebwerke, Healthcare. In vielen verschiedenen Umgebungen hat man viel präzisere, effizientere, bessere Performance dieser KI-Module oder Algorithmen, wenn man die Information zurück zum Rechenzentrum oder zur Cloud bringt. Mit anderen Worten: Während Daten von einem Asset definitiv Wert haben, gewinnt man echte Insights erst von vernetzten Asset-Flotten und ihren Interaktionen in verschiedenen Umgebungen.

Entscheidung: Wo Edge KI/ML Compute gemacht wird

RTInsights: Wo wird die KI/ML-Compute-Arbeit für Edge-Anwendungen gemacht?

Tabet: Das geht zurück zum vorherigen Punkt: In vielen Fällen brauchen KI-Algorithmen viele Daten zum Trainieren. Das macht man (und da gibt es Uneinigkeit) im Rechenzentrum oder in der Cloud – in einer zentralisierten Umgebung mit High-Performance-Compute. Am Edge deployed man diese Algorithmen, und sie können viel effizienter für Beeinflussungszwecke am Edge genutzt werden. Es gibt Diskussionen, dass man irgendwann auch Training am Edge machen kann – zunächst begrenzt durch die harten Constraints der meisten Edge-Umgebungen.

Überlegungen für Edge Computing

RTInsights: Was sind die Anforderungen an Compute-Lösungen am Edge?

Tabet: Das ist tricky, weil es verschiedene Definitionen von Edge gibt. Spricht man mit einem Autohersteller, sagt er: Mein Auto ist der Edge. Spricht man mit einem Turbinenhersteller, sind Windturbinen ihr Edge. Fertigungsgeräte in einer Fabrik sind auch Edge. Sie haben unterschiedliche Umgebungen. Einige sehr rau. Bei Dell hatten wir viel Erfahrung mit Compute in Umgebungen mit starken Vibrationen, extrem hohen oder niedrigen Temperaturen. Die Nummer-eins-Anforderung [für Compute-Lösungen am Edge] ist Stromverbrauch. Er muss niedrig sein. Das widerspricht allem, was wir kennen – besonders im HPC. Man nutzt viele GPUs, hat Hitze, braucht Power. Das geht in diesen [Edge]-Umgebungen nicht. Wir müssen die [Compute-Komponenten] in einen anderen Formfaktor bringen, oder möglicherweise in anderen Arten von Accelerators denken – wie eine neue Generation KI-spezifischer Accelerators, die in den nächsten Jahren kommen.

Smith: Das Coole und Interessante: Wir können kontinuierlich ruggedized für raue Umgebungen arbeiten – bei -5, manchmal -10 Grad Celsius bis 55+ Grad Celsius. Wie Dr. Tabet erwähnte: Für gefährliche/raue Umgebungen muss man vibrations-, schockbedingte Issues verhindern. Doch wir machen Formfaktoren kontinuierlich kleiner. Klar, mit Hilfe unserer Partner und Chip-Entwickler.

Interessant: Die Vorstellung, Formfaktoren kleiner und ruggedized zu machen, und gleichzeitig so einfach zu bedienen wie möglich. Aus Anwendungssicht: Es geht nicht darum, Cloud am Edge auszuführen, per se – obwohl das auch passieren kann. Es geht mehr darum, Cloud-native Prinzipien an den Edge zu bringen. Die Einfachheit und Leichtigkeit, mit der man portieren kann – ob Container oder VMs – auf verschiedene Infrastruktur- und Umgebungsarten, und einen Single-Pane-of-Glass-View hat. Das potenziell auch Multi-Cloud ermöglicht. Der Edge kann Ihr neuer Kontrollpunkt, Ihre neue Pane-of-Glass-Visibility werden, die die Lücke zwischen OT (Operational Technology) und IT schließt. Faszinierend. Eine neue Frontier für Exploration – treibt einen großen Teil der Produkt-Roadmaps für die Zukunft.

Edge KI/ML Use Cases

RTInsights: Können Sie Beispiele für KI/ML-Edge-Anwendungen geben?

Tabet: Ein Beispiel, an dem ich seit einigen Jahren arbeite: Herausforderungen im Mobilitätsbereich [autonome Fahrzeuge]. Mit mehreren Organisationen und direkt mit Kunden schauen wir, wie wir verschiedene Fähigkeiten in diesen Markt bringen können. Ich abstrahiere das etwas und gebe Beispiele, die solche Edge-Deployments facilitieren könnten. Use Cases für Edge in RSU (Roadside Units), den Fahrzeugen selbst oder deren Sensing. Einige sind erweiterte Versionen von HD Maps (High-Definition Maps) – semantisch reich, kontext-getrieben, Near-Real-Time-Updates.

Ein Beispiel, wo KI genutzt wird, um Datenmenge und -kosten zu reduzieren, die übertragen werden. Man befasst sich nur mit dem, was für spezifische Services nötig ist. Beispiel: Videos können reduziert werden. Man kann Datenmenge reduzieren. Man kann sich auf sehr spezifische Objekte fokussieren, die man detektieren will. Das sind Beispiele auf dieser Ebene.

Andere: Health dieser Edge-Geräte – Monitoring eines spezifischen Geräts, Motors, ganzen Autos, um so viel Analyse wie möglich auf Fahrzeug- oder Geräteebene zu machen, besonders aus Sicherheitsgründen (Condition-Based Monitoring in vielen IoT-Use-Cases).

Weitere Beispiele im Retail: Man sieht mehr Edge-Deployment, aber anders. Man hat Connection von Edge zu Cloud zu Rechenzentrum im „Edge Cloud“, wo man so viel wie möglich am Edge macht. [Der Edge ist, wo] man Daten sammelt und alle nötigen Analysen macht. Man bietet besseres Endnutzer-Erlebnis – im Retail z. B. Personalisierung, um Kosten zu minimieren, Services zu optimieren.

Gerade jetzt, in unserer Situation, viele Fälle im Healthcare: Wie viele Daten können wir sammeln und so schnell wie möglich am Edge reagieren? Normalerweise reden wir von verteilter Umgebung im Maßstab Hunderttausende oder Millionen Geräte, wie Calvin sagte. Ein Bereich, wo KI und ML eine viel größere Rolle spielen können. Wir reden über ständig wechselnde Daten, und mit KI-Fähigkeiten würden sich einige Anwendungen selbst anpassen. Lernen und Training laufen auf dieser Ebene weiter.

In all diesen Bereichen – Healthcare, Retail, autonome Fahrzeuge, Mobilität allgemein und viele mehr – senkt man Kosten durch predictive oder conditional Maintenance. Edge gibt auch Fähigkeit zu Remote-Control von Geräten: Wenn Experten nicht sicher an den Datenerfassungsort gehen können, können sie Remote-Fähigkeit bieten – inklusive AR/VR. Aber man macht die meiste Arbeit vorher am Edge, um physische Präsenz zu minimieren, falls nötig. Nur einige Beispiele.

Smith: Ich füge zwei weitere wichtige hinzu. Erstens: Wir haben großes Business in Safety und Security. Wie Said erwähnte: Man führt sehr große Algorithmen aus, verarbeitet Daten für Dinge wie… Beispiel: Szenario mit Schussabgabe an öffentlichem Ort, sagen wir außerhalb einer Tankstelle. Man muss viele automatisierte, sofortige Entscheidungen treffen, um Kurs zu bestimmen. Eines: Gunshot Recognition aus Audio-Sicht, korreliert mit Object Recognition aus Computer Vision, um zu zeigen: Es war eine Waffe, nicht nur ein Auto-Rückfeuer.

Dann, wenn man einen Täter hat: Man kann auch jetzt eigentlich simplere Algorithmen am Edge ausführen, die im Rechenzentrum entstanden – für License Plate Recognition. Dann identifiziert man das Kennzeichen des flüchtenden Verdächtigen. Alles automatisiert und am Edge ausgeführt. Viele Use Cases in diesem Bereich: Kameras, Überwachung, Sicherheit, allgemeine Bürger-Sicherheit.

Der andere große Use-Case-Bereich, den wir nicht unerwähnt lassen sollten: Deep Learning für Smart Facilities – ein Testbed im Industrial Internet Consortium, das wir vor einiger Zeit mit Toshiba starteten. Seitdem kamen SAS und Wipro dazu, mit unterschiedlichen Werten.

Ursprüngliche Idee: Riesige Facility als State-of-the-Art bauen. Glaube, gebaut 2011, schon mit wie vielen Sensoren, Said? 20.000?

Tabet: Mehr – wahrscheinlich 35.000 beim Bau 2011.

Smith: 35.000, richtig. Brandneue State-of-the-Art-Facility, aber Designer wollten Envelope pushen und lernen/mehr tun. Neural Network implementiert über Server-Serie, verbunden mit Parameter-Server – das Gebäude lernte selbst in Verbindung mit kritischen Systemen: Aufzüge, Rolltreppen, kostenintensive HVAC-Systeme. Ziel: Anomalie-Detektion, Korrelationen finden, die ein Mensch (ohne KI) schwer finden würde.

Beispiel: Faszinierende Findings in der Küche. Daten zeigten: Aktivitäten dort erhöhten Kosten, weshalb bestimmte Lüftungsabschnitte geschlossen wurden. Unglaublich, was man findet, wenn Daten statt Menschen untersuchen. True Deep Neural Net – selbstlernend, lehrt sich selbst, was zu finden, sucht Cross-Korrelationen, die Menschen nicht normalerweise bestimmen. Und das alles war am „Edge“ – ausgeführt im Gebäude. Kern-Processing war im Rechenzentrum.

Tabet: In einem jüngeren Use Case für ein Projekt fügten wir Geräte hinzu, ähnlich all diesen Assets für HVAC etc. im Gebäude. Jedes war mit eigenen ML- oder KI-Algorithmen ausgestattet – sie wurden selbsttragend, lernten aber gleichzeitig voneinander. Zurück zu Calvins Story: Das geschieht so, dass wir mehr von dieser Art autonomer KI sehen werden. Die Idee: Wir füttern sie nicht mit Direction, aber über Zeit self-levelt und self-lernt sie in Parametern und Produktivitätsoptimierung.