Ascend Previews Tool zur Vereinfachung der Datenpipelineverwaltung

Abfragebare Dataflows werden einen Großteil des manuellen Overheads, der heute mit der Verwaltung von DataOps verbunden ist, erheblich reduzieren.

Eines der Dinge, die am meisten dazu beitragen, die IT viel weniger agil zu machen, als irgendjemand will oder schätzt, ist die ganze Zeit und Mühe, die in die manuelle Konstruktion von Datenpipelines gesteckt wird. Es ist nicht nur eine Herausforderung, diese Pipelines überhaupt zu konstruieren, es kann Tage und Wochen dauern, zu entschlüsseln, wie sie funktionieren und implementiert wurden.

Um die Änderung bestehender Datenpipelines zu vereinfachen, bietet Ascendis jetzt eine technische Vorschau auf ein Tool, das es IT-Teams ermöglicht, Abfragen direkt für Datenpipelines zu starten, die mit dem kürzlich eingeführten Autonomous Dataflow Service des Unternehmens erstellt wurden, wodurch es einfacher wird, Pipelines mit deklarativen Tools für Instanzen von zu erstellen das In-Memory-Computing-Framework Apache Spark, das in öffentlichen Clouds gehostet wird, die entweder von Amazon Web Services (AWS), Microsoft oder Google bereitgestellt werden.

Siehe auch: DataOps:Das Gegenmittel für überlastete Datenpipelines

Diese neue Funktion mit dem Namen Queryable Dataflows wird einen Großteil des manuellen Overheads, der heute mit der Verwaltung von DataOps verbunden ist, erheblich reduzieren, sagt Sean Knapp, CEO von Ascend.

Abfragebare Dataflows ermöglichen es DataOps-Teams, große Rohdatensätze während ihrer Erstellung inkrementell zu untersuchen und zu profilieren. Diese Fähigkeit macht es nicht nur einfacher, neue Pipelines schneller zu konstruieren, sie kann auch verwendet werden, um sicherzustellen, dass die Ergebnisse genaue Ergebnisse sind, bevor Daten nachgelagerten Anwendungen zugänglich gemacht werden.

Pipelines sind jetzt in der Lage, Staging und Exploration so zu handhaben, dass diese Aktivitäten aus dem Data Warehouse ausgelagert werden. Darüber hinaus können interaktive Abfragen sofort als Phasen innerhalb des AutonomousDataflow-Dienstes in die Produktion überführt werden, um eine Neucodierung und erneute Verarbeitung zu vermeiden.

Queryable Dataflows helfen auch bei der Optimierung von Betriebsanalysen und Berichten. Datenanalysten und Wissenschaftler können sich auch direkt mit Pipeline-Stufen verbinden, ohne zuerst Daten in ein Warehouse laden zu müssen, was bedeutet, dass sie ihre bevorzugten Tools für den Datenzugriff verwenden können.

Frühere Generationen von Tools zur Verwaltung von Datenpipeline-Tools sind im Vergleich dazu kaum mehr als verherrlichte Job-Scheduler, sagt Knapp.

DataOps als IT-Disziplin steht unter erhöhtem Druck, da sich die Änderungsrate innerhalb von IT-Umgebungen beschleunigt hat. Teilweise dank des Aufstiegs von DevOps-Prozessen und Microservices hat die Rate, mit der Datenpipelines optimiert oder aktualisiert werden müssen, exponentiell zugenommen. Manuelle Aktualisierungen von Datenpipelines werden einige sehr vorhersehbare Reibungspunkte zwischen DataOps und DevOps schaffen, sagt Knapp.

„DataOps und DevOps müssen harmonisiert werden“, sagt Knapp.

Tatsächlich führt dieser Mangel an Harmonie dazu, dass Entwickler oft versuchen, das interne IT-Team zu beenden, indem sie eine Open-Source-Datenbank verwenden, um eine Anwendung zu erstellen, nur um im Laufe der Zeit festzustellen, dass die Datenbank nicht skalierbar ist, um die Anforderungen der Anwendung zu erfüllen. Dann müssen sie sich erneut mit internen IT-Teams in Verbindung setzen, um diese Anwendung auf eine Plattform wie ApacheSpark oder eine andere Datenbank zu verschieben.

Es ist nicht klar, inwieweit DataOps und DevOps eines Tages konvergieren könnten. Vorerst dürften beide Bereiche eine eigene Domäne bleiben. Es ist jedoch auch völlig klar, dass DataOps-Prozesse so weit verbessert werden müssen, dass der Bau von Datenpipelines kein großer Engpass mehr ist, der die Modernisierung der IT behindert.