Third-Generation Stream Processing: IoT-Daten in Echtzeit-Action verwandeln

Kelly Herrell von Hazelcast

Im Pre-Digital-Ära nutzten IT-Teams eine Reihe von Data-Management-Tools – Data Warehouses, analytische Plattformen und diverse Datenbanksysteme –, um Informationen für zukünftige Analyse zu erfassen und zu bewahren.

Heute werden Daten von IoT-Geräten in beispielloser Rate generiert und gestreamt. Die „Things“ im IoT – Sensoren, Mobile Apps, vernetzte Fahrzeuge – erzeugen ein explosives Informationsvolumen. Addieren Sie den Network Effect, wo Wert mit der Zahl vernetzter Nutzer skaliert, und es ist klar, warum IDC den IoT-Markt auf 745 Milliarden Dollar (665 Mrd. €) nächstes Jahr und über 1 Billion Dollar (0,89 Bill. €) bis 2022 projiziert.

In diesem Megatrend weicht der traditionelle Fokus auf historische Daten der temporalen Wertigkeit von Streaming Data. Im Streaming-Paradigma ist Wert direkt an Immediatez gebunden aus zwei Gründen:

• Differenz: Wie Wassermoleküle, die durch einen Schlauch fließen, ist jeder Snapshot von Daten, der durchs Netzwerk fließt, einzigartig.
• Verderblichkeit: Die Gelegenheit, auf Insights zu handeln, verdunstet oft kurz nach Datengenerierung.

Diese Konzepte bedeuten, dass plötzliche Änderungen, die in Streams detektiert werden, instant Action verlangen – ob es ein Echtzeit-Gesichtserkennungs-Alert ist oder ein Bohrrig-Sensor, der abnormale Vibrationen detektiert, die zu katastrophalem Versagen führen könnten, wenn nicht sofort adressiert.

In der heutigen schnelllebigen Welt beschleunigen IoT und Streaming Data den Pace of Change und reshapen, wie wir Information verarbeiten. Stream Processing selbst evolviert rasant.

Zwei Generationen, gleiche Probleme

Die erste Generation von Stream Processing verließ sich stark auf Batch Processing innerhalb komplexer Hadoop-basierter Architekturen. Daten wurden gesammelt, gespeichert und erst nach Verzögerung in die Processing Engine gestreamt. Die Kombination aus Komplexität und Latenz machte diesen Ansatz weitgehend inadäquat.

Die zweite Generation führte Micro-Batches ein, verkleinerte Batch-Größen, um Processing Time zu reduzieren. Doch die zugrundeliegende Komplexität blieb, und die Verzögerung beim Setup jedes Micro-Batch bedeutete, dass Changes erst identifiziert wurden, nachdem sie bereits historisch geworden waren.

Third-Generation Stream Processing

Die Herausforderung für IT-Organisationen ist klar: Wie können wir Streaming Data in Echtzeit ingestieren und verarbeiten, rohe Daten in actionable Insight „now“ verwandeln, ohne den Overhead batch-orientierter Systeme? Die Antwort liegt in Software, die lightweight, nicht batch-zentrisch und klein genug ist, um nah an – oder sogar embedded in – der Datenquelle zu laufen.

First- und Second-Generation Engines erfordern multiple Components, was in einem Footprint resultiert, der zu groß für die meisten Edge- und IoT-Umgebungen ist. Ein Lightweight Engine kann direkt an der Quelle deployed werden, eliminierend die Notwendigkeit, den gesamten Stream über das Netzwerk für Processing zu senden. Diese Proximität reduziert Latenz dramatisch und adressiert die Perishability-Herausforderung.

Third-Generation Stream Processing kann Live-Raw-Data at Scale handlen, liefert Insights instant und ermöglicht Actions, die den flüchtigen Wert von Echtzeit-Informationen kapitalisieren.

Streaming in der Praxis

Eine Bohrplattform ist ein quintessentielles Symbol des Energiesektors, doch ihre Operating Costs sind hoch und jeder Downtime kann den Bottom Line schwer impacten. Preventive Insights können Verluste dramatisch reduzieren.

SigmaStream spezialisiert sich auf High-Frequency Data Streams, die während des Bohrens generiert werden. Ihre Rigs sind mit Dutzenden Sensoren ausgestattet, die minute Vibrationen erfassen. Das Volumen kann 60 bis 70 High-Frequency Channels erreichen, die in das Stream-Processing-System eintreten.

Durch Verarbeitung dieser Daten in Echtzeit ermöglicht SigmaStream Operatoren, instantly zu handeln – Bohrparameter on-the-fly anzupassen –, um Failures und Downtime zu verhindern. Gekoppelt mit einer Third-Generation Streaming Engine und den richtigen Analytics Tools können Operatoren fast unmerkliche Vibrationen monitoren. Resultat: Kunden haben Millionen Dollar gespart und On-Site Time um bis zu 20 % reduziert.

Im digitalen Zeitalter ist Latenz der neue Downtime. Stream Processing ist der logische nächste Schritt für Organisationen, die Information schneller ingestieren, schnellere Actions ermöglichen und die wachsende Nachfrage nach Echtzeit-Daten treffen müssen. Durch Mainstreaming von Stream Processing können Enterprises in einer von ultra-high-performance Applikationen dominierten Welt gedeihen und time-sensitive Information liefern, die steigenden Erwartungen gerecht wird.

Der Autor ist Kelly Herrell, CEO von Hazelcast