Ascend Preview Tool: Data Pipeline Management straffen für schnellere, zuverlässigere Insights

Queryable Dataflows werden einen Großteil des manuellen Overheads, der heute mit DataOps-Management assoziiert ist, signifikant reduzieren.

Eine der Dinge, die IT am meisten dazu verleiten, weit weniger agil zu sein, als gewünscht oder geschätzt, ist die ganze Zeit und Mühe, die in manuelles Konstruieren von Data Pipelines fließt. Nicht nur ist es eine Challenge, diese Pipelines initially zu konstruieren, zu entschlüsseln, wie sie funktionieren und implementiert wurden, kann Tage und Wochen dauern.

Um es einfacher zu machen, bestehende Data Pipelines zu modifizieren, bietet Ascend nun eine Technical Preview eines Tools an, das IT-Teams erlaubt, Queries direkt gegen Data Pipelines zu starten, die mit dem kürzlich gestarteten Autonomous Dataflow Service des Unternehmens gebaut wurden, der es einfacher macht, Pipelines mit deklarativen Tools auf Instanzen des Apache Spark In-Memory Computing Frameworks zu erstellen, gehostet auf Public Clouds von Amazon Web Services (AWS), Microsoft oder Google.

Siehe auch: DataOps: The Antidote for Congested Data Pipelines

Getauft Queryable Dataflows, wird diese neue Fähigkeit einen Großteil des manuellen Overheads, der heute mit DataOps-Management assoziiert ist, signifikant reduzieren, sagt Ascend CEO Sean Knapp.

Queryable Dataflows machen es DataOps-Teams möglich, große Raw-Datensätze inkrementell zu erkunden und zu profilieren, während sie bauen. Diese Fähigkeit macht nicht nur das Konstruieren neuer Pipelines schneller einfacher, sie kann auch eingesetzt werden, um sicherzustellen, dass Ergebnisse akkurat sind, bevor Daten an Downstream-Applikationen exponiert werden.

Pipelines können nun Staging und Exploration so handhaben, dass diese Aktivitäten vom Data Warehouse abgeladen werden. Zusätzlich können interaktive Queries sofort in Production als Stages innerhalb des Autonomous Dataflow Service bewegt werden, um Recoding und Reprocessing zu eliminieren.

Queryable Dataflows hilft auch, operative Analytics und Reporting zu optimieren. Data Analysts und Scientists können auch direkt mit Pipeline-Stages verbinden, ohne Daten zuerst in ein Warehouse laden zu müssen, was bedeutet, sie können ihre bevorzugten Tools nutzen, um auf Daten zuzugreifen.

Vorherige Generationen von Tools für Data Pipeline Management sind, im Vergleich, wenig mehr als verherrlichte Job Scheduler, sagt Knapp.

DataOps als IT-Disziplin steht unter erhöhtem Druck, weil die Rate des Wandels in IT-Umgebungen beschleunigt hat. Dank des Aufstiegs von DevOps-Prozessen und Microservices hat die Rate, mit der Data Pipelines optimiert oder aktualisiert werden müssen, exponentiell zugenommen. Manuelle Updates von Data Pipelines werden vorhersehbare Reibungspunkte zwischen DataOps und DevOps schaffen, sagt Knapp.

„DataOps und DevOps müssen harmonisiert werden“, sagt Knapp.

Tatsächlich führt genau dieser Mangel an Harmonie dazu, dass Entwickler oft versuchen, das interne IT-Team zu umgehen, indem sie eine Open-Source-Datenbank für den Bau einer Applikation einsetzen, nur um im Laufe der Zeit zu entdecken, dass diese Datenbank nicht skaliert, um die Anforderungen der Applikation zu erfüllen. Dann müssen sie wieder mit internen IT-Teams engagieren, um die Applikation auf eine Plattform wie Apache Spark oder eine andere Datenbank zu bewegen.

Es ist nicht klar, inwieweit DataOps und DevOps eines Tages konvergieren könnten. Für jetzt werden beide Bereiche wahrscheinlich eigenständige Domänen bleiben. Doch es ist auch offensichtlich, dass DataOps-Prozesse sich verbessern müssen, bis der Bau von Data Pipelines nicht mehr der große Flaschenhals ist, der die Modernisierung von IT zurückhält.