Datenströme kreuzen: Von Ghostbusters zu Advanced Analytics

Datenströme zu nutzen – sowohl Batch- als auch Echtzeit-Events zu verbinden – befähigt Data Scientists und Analysten, anspruchsvolle Probleme zu lösen.

Einzelne Streams liefern Daten zu einer bestimmten Dimension – der Aktienkurs, die Bestellung eines Kunden, die Metrik eines Geräts. Analysen und Anwendungen können durch einen einzelnen Datenstrom bedient werden, aber die Nutzungsmöglichkeiten sind eng und lokal begrenzt.

Das Kreuzen von Strömen eröffnet größere Möglichkeiten, gefüllt mit Historie, Kontext und verwandten Signalen. Als unsere Ghostbuster-Helden (Venkman und die Gang) der Herausforderung begegnen mussten (und Mr. Stay Puft besiegen), vereinten sie ihre Kräfte – und Ströme! Das Ganze war größer als die Summe der Teile.

In unserer Community werden Data Scientists, Analysten und Entwickler ähnlich zum Handeln aufgerufen. Datenströme zu nutzen – sowohl Batch- als auch Echtzeit-Events zu verbinden – befähigt Sie, anspruchsvolle Probleme anzugehen. Und wie bei Venkman braucht man manchmal andere, die ihre Ausrüstung mitbringen und helfen. Hier sind vier wesentliche Komponenten, um das Kreuzen von Strömen erfolgreich zu machen:

1) Daten, Use Cases und Menschen zusammenbringen.

Innovation beschleunigen, Effizienz maximieren und Flexibilität bieten sind etablierte Prioritäten für anspruchsvolle Datensysteme. Ein agiler, sich entwickelnder Software-Backbone verwirklicht diese Ziele. Open-Source-Kernkomponenten bieten die langfristige Agilität und Interoperabilität, die für den Erfolg entscheidend sind.

Tools entwickeln sich weiter, und manchmal muss man die neue Geisterfalle benutzen.

2) Ihren Data Stack mit Open-Source-Formaten zukunftssicher machen.

Datenportabilität war lange eine heilige Anforderung für Enterprise-Datenteams. Mauergärten schaffen zukünftige Schulden, und Vendor Lock-in hat unausgesprochene langfristige Kosten, die oft in Business Drag bezahlt werden. Daten in offenen Formaten speichern.

CSV und JSON sind seit Jahren groß, mit Avro, Protobufs, Parquet, ORC und anderen, die kürzlich an Popularität gewonnen haben. Sie haben jeweils ihre Gründe zu existieren, aber alle basieren auf dem Prinzip, strukturierte Daten einer Vielzahl unabhängiger Systeme zu liefern, agnostisch gegenüber und ahnungslos gegenüber der Informatik downstream.

Da das Ausmaß der Daten skaliert hat und die damit verbundenen finanziellen und Latenzkosten des Datenverschiebens sich vervielfacht haben, umfasst das Konzept offener Daten nun auch In-Memory-Formate, nicht nur die auf der Festplatte persistierten. Es ist jetzt oft inakzeptabel, zu verlangen, dass Daten kopiert, verschoben, serialisiert oder in irgendeiner Weise übersetzt werden. Insbesondere profitiert die bedeutende Community von Apache Arrow von seiner Fähigkeit, In-Memory-Daten einer Reihe von Datenverarbeitungsbibliotheken über viele Sprachen hinweg mit minimalem Overhead, Zero-Copy-Reads und schnellem Zugriff im großen Maßstab bereitzustellen.

Aber denken wir daran: In Ghostbusters waren die Daten erst der Anfang des Abenteuers.

3) Das Verbinden von Echtzeit- und statischen Daten zur grundlegenden Anforderung machen.

Eine moderne Data Engine muss Daten aus einer Vielzahl von Quellen zusammenführen. Die Fachbegriffe Warehouse, Lake und der zentaurartige Lakehouse sind jetzt gängige Bilder. Die wachsende Beliebtheit von Event Streams ist jedoch ein nicht so leiser Kanarienvogel, der andeutet, dass statische Daten nicht mehr die ganze Geschichte sind.

Daten ändern sich. Moderne Workloads leben in einem Zustand des Flusses. Echtzeit-Daten sind wichtig.

Data Engines und Processing Libraries müssen so architektiert sein, dass sie fließend zwischen Echtzeit- und statischen Daten-Workloads adressieren und wechseln können. „Continuous Intelligence“ ist ein trendiger Begriff für Systeme, die den Kontext der Historie mit den Ereignissignalen des Moments kombinieren. Moderne Datensysteme sollten so gebaut sein, dass sie Echtzeit-Daten, Event Streams und andere Updates als Kernkompetenz verarbeiten. Dies sollten Kernstärken sein, keine Add-ons, keine Nachgedanken.

Schließlich haben wir in Ghostbusters gelernt, dass Gatekeeper und Key Masters viel weniger mächtig sind, bis sie zusammengeführt werden.

4) Den Nutzer immer an erste Stelle setzen.

Heutige Datennutzer haben eine Vielzahl von Fähigkeiten, Tools, Workflows und Prioritäten. Ein Team um eine gemeinsame Plattform zu versammeln, dient dem Individuum und energetisiert das Team. Datensysteme, die die Effizienz von Individuen maximieren und Zusammenarbeit fördern, treiben Business Value.

Open-Data-Software weist den Weg. Die faszinierende Mischung aus Kooperation und Wettbewerb in offenen Projekten liefert ein unübertroffenes Tempo an Fortschritt und Einfallsreichtum. Organisiert zur Förderung von Interoperabilität, verspricht Community-Entwicklung Verbesserungen, Integrationen und User-Experience-Upgrades. Beliebte Pfade werden zu befestigten Straßen. Solche Systeme machen Nutzer zu einer Armee von einem, während sie die koabhängige Arbeitsleistung unterstützen, die für jeden auch nur mäßig komplexen Use Case erforderlich ist.

Schließlich ist ein Protonenpack mächtig, aber vier, die zusammenarbeiten, sind unbesiegbar.

Ich hab' keine Angst vor Geistern.