Sind IoT und Cloud Computing die Zukunft der Daten?

Mit geschätzten 29 Milliarden vernetzten Geräten, die bis 2022 in Betrieb sein sollen – und über 75 Milliarden Internet-of-Things (IoT)-Geräten, die voraussichtlich bis 2025 weltweit im Einsatz sein werden – ist das Internet der Dinge ein wichtiger Aspekt für zukunftsorientierte Unternehmen.

Die Fülle der derzeit im Einsatz befindlichen IoT-Geräte bietet Unternehmen umfangreiche Datenmengen, mit denen aussagekräftige Erkenntnisse gewonnen werden können, und es wird erwartet, dass dies in den kommenden Jahren noch zunehmen wird, sagt Shivnath Babu, Chief Technology Officer, Unravel Data . Da Unternehmen jedoch immer mehr intelligente Geräte einsetzen und die erzeugten Datenmengen steigen, werden zentralisierte Cloud-Systeme eine grundlegende Rolle spielen, um sicherzustellen, dass diese Erkenntnisse intelligent genutzt werden. Daher bringt die Verbreitung des IoT erhebliche DataOps-Herausforderungen mit sich.

Schwierigkeiten beim Umgang mit Daten

Mit einer großen Anzahl von IoT-Geräten kommen große Mengen und Arten von Daten. IoT-Geräte können beispielsweise so unterschiedliche Datentypen bereitstellen wie:Kundenumsatz, gefahrene Kilometer, GPS-Koordinaten, Luftfeuchtigkeit, Anzahl der anwesenden Personen, Fahrzeuggeschwindigkeit, Temperatur und Luftqualität. Viele Unternehmen haben Schwierigkeiten, die Komplexität und die schiere Menge der durch das IoT erzeugten Daten zu bewältigen, und stellen fest, dass ihre Datenpipelines ineffizient werden. Für App-gesteuerte Dienste, die auf Echtzeit-Streaming angewiesen sind, ist dies ein erhebliches Problem.

Zu diesem Zweck werden personalisierte Echtzeit-Streaming-Anwendungen wie Kafka, Spark, Kudu, Flink oder HBase benötigt, um die hohen Big-Data-Anforderungen moderner Cloud-Dienste zu bewältigen. Allerdings erfordert die Analyse von Streaming-Verkehrsdaten und die Generierung statistischer Merkmale komplexe und ressourcenintensive Überwachungsmethoden.

Obwohl Analysten mehrere Erkennungsmethoden gleichzeitig auf die eingehenden Daten anwenden können, führt dies unweigerlich zu Komplexitäts- und Leistungsproblemen. Dies ist insbesondere dann der Fall, wenn sich Anwendungen über mehrere Systeme erstrecken (z. B. Interaktion mit Spark für die Berechnung, mit YARN für die Ressourcenzuweisung und -planung, mit HDFS oder S3 für den Datenzugriff oder mit Kafka oder Flink für das Streaming). Diese Bereitstellungen können noch komplexer werden, wenn sie unabhängige, benutzerdefinierte Programme als wiederholte Datenvorverarbeitung oder Feature-Generierung enthalten, die in mehreren Anwendungen üblich sind.

Explosives IoT-Wachstum

Um die Cloud-Infrastruktur zu schaffen, die für das explosive Wachstum von IoT-Geräten erforderlich ist, sind aktuelle Datenmanagement-Tools und -Prozesse dieser Aufgabe nicht gewachsen. Um die Herausforderung umfangreicher IoT-Geräte zu bewältigen, erkennen viele Unternehmen die Notwendigkeit von KI- oder ML-Integrationen.

Diese Integrationen erweitern die Fähigkeiten von Datenteams, all diese Daten zu verstehen, indem sie intelligente Datenoperationen ermöglichen, die den Aufwand für das manuelle Sortieren von Daten reduzieren. Dadurch werden Daten schneller an den richtigen Ort geleitet, können mit den Geschäftsanforderungen Schritt halten und die Echtzeitkomponente ihrer Datenoperationen aufrechterhalten.

In diesen Szenarien kann die Streaming-Anwendung bei der Verarbeitung von Daten in Echtzeit oft hinterherhinken, und die Ermittlung der Grundursache kann für ein so komplexes System eine mühsame Herausforderung sein. Daher bietet eine Datenbereitstellung, die auf maschinellem Lernen und künstlicher Intelligenz (KI) beruht, im Vergleich zu Alternativen viel wahrscheinlicher die erforderliche Leistung, Vorhersagbarkeit und Zuverlässigkeit.

Um die effiziente und kontinuierliche Erfassung von Daten von IoT-Geräten zu ermöglichen, haben sich maschinelle Lernalgorithmen als unerlässlich erwiesen, um die Überprüfung der Anwendungsausführung zu ermöglichen, die Ursache potenzieller Fehler zu identifizieren und Empfehlungen zur Verbesserung der Leistung und Ressourcennutzung zu generieren. Ein weiterer wichtiger Vorteil besteht darin, dass Unternehmen durch die Implementierung solcher Prozesse von niedrigeren Kosten und höherer Zuverlässigkeit profitieren können.

Betrachten Sie jeden Anwendungsfall

Daher ist es wichtig, jeden einzelnen Anwendungsfall zu berücksichtigen und zu sehen, auf welche spezifische IoT-Herausforderung es eine Antwort bietet. Indem IT-Teams zuerst die Umgebung und die damit verbundenen Probleme für die jeweilige Organisation verstehen, können sie die erforderlichen Lösungen schneller implementieren. Ob maschinelles Lernen oder KI, die Bereitstellung einer IoT-basierten Bereitstellung setzt voraus, dass das Datenteam durch Automatisierung erweitert wird, um die entstehende Komplexität zu bewältigen.

Der Autor ist Shivnath Babu, Chief Technology Officer von Unravel Data.