Dateidaten für Cloud Data Lakes optimieren: Ein praktischer Leitfaden

Eine Cloud Data Lake Strategie ist eine natürliche Evolution für datenintensive Enterprise IT-Organisationen, die in die Cloud migrieren, da sie die Cloud von einem billigen Datenspeicher zu einem Ort erhebt, an dem Daten für neuen Wert genutzt und monetarisiert werden können.

Wenn 2020 und 2021 die Jahre der raschen Cloud-Beschleunigung waren, wird 2022 das Jahr sein, in dem Enterprises anfangen, ernsthaft unstrukturierte Dateidaten in Cloud Data Lakes zu bringen. Es gibt ein paar Gründe hinter diesem Trend. Erstens sitzen Organisationen auf Petabytes unstrukturierter Daten, die mindestens 80 % der 64 Zettabytes Daten (und wachsend) im weltweiten Speicher heute ausmachen. Die meisten davon sind Dateidaten – von medizinischen Bildern bis Streaming-Video, Sensordaten von E-Autos und IoT-Produkten und den Dokumenten, die Menschen in jedem Sektor zur Kollaboration und zum Geschäftsbetrieb nutzen.

Zweitens werden Dateidaten unhandhabbar, teuer zu speichern, und CIOs wissen, sie sitzen auf einer potenziellen Goldmine an Insights, wenn sie nur bestimmen könnten, wie sie sie an die richtigen Orte für Analyse bekommen. Schließlich investieren die großen Cloud-Plattformen stark in Data Analytics/ML/AI-Tools und günstigere Object Storage Tiers, um Data Lake Projekte zu unterstützen.

Siehe auch: Data Lakes, Time-Series Data, und Industrial Analytics

Die Reifung von Data Lakes zur Cloud

Data Lakes zu ermöglichen ist eines der Top-Ziele, die IT-Manager priorisieren, zusammen mit Sicherheit, Kostenmanagement und Visibility, laut einer kürzlich von uns durchgeführten Studie. Die Cloud hat traditionelle Data Lake Strategien auf den Kopf gestellt, die begannen, als Unternehmen semi-strukturierte Daten wie CSV und Log Files analysieren wollten. 2006 wurde Hadoop geboren und gewann weite Adoption gerade zu der Zeit, als Big Data Gespräche begannen zu zirkulieren. Doch Hadoop erwies sich schließlich als langsamer und teurer als erwartet, kompliziert aufzubauen, zu skalieren und zu managen und primär für Batch Processing designed. Um diese Issues zu lösen, trat Apache Spark auf den Plan, lief bis zu 100x schneller für einige Workloads und gut geeignet für Echtzeit-Analyse. Wichtig war, der Fokus von Unternehmen wie Databricks lag darauf, Spark in der Cloud zu laufen, während Hadoop primär On-Premises implementiert wurde.

In den letzten paar Jahren haben cloud-basierte Data Lake Plattformen gereift und sind jetzt bereit für Prime Time. Cloud-Providers' günstigere Scale-Out Object Storage liefert eine Plattform für massive, Petabyte-Scale-Projekte, die schlicht nicht On-Premises tragfähig sind. Next-Generation Data Lakes bauen auf Apache Spark auf, um S3 oder Object Data Storage zu unterstützen, was es möglich macht, semi-strukturierte und unstrukturierte Daten zu ingestieren und zu verarbeiten. File Storage transitioniert auch zur Cloud und muss als Teil eines Cloud Data Lake genutzt werden, damit nicht alle Daten in Object Storage sein müssen.

Eine Cloud Data Lake Strategie ist eine natürliche Evolution für datenintensive Enterprise IT-Organisationen, die in die Cloud migrieren, da sie die Cloud von einem billigen Datenspeicher zu einem Ort erhebt, an dem Daten für neuen Wert genutzt und monetarisiert werden können.

Wie man den Cloud Data Lake zähmt

Während dies noch frühe Tage für Cloud Data Lakes sind, ist das Einbeziehen von Dateidaten in Ihren Data Lake imperativ, da Machine Learning Modelle große Mengen davon benötigen, um bedeutungsvolle Ergebnisse zu generieren. Doch diese unstrukturierten Daten sind nicht standardisiert zwischen Dateitypen: Videodateien, Audiodateien, Sensordaten, Logs teilen keine gemeinsame Struktur. Und all diese Dateidaten wahllos in die Cloud Data Lake Platform zu dumpen, ist keine weise Strategie, sondern ein Chaos, das später aufgeräumt werden muss. Trotz ihres Versprechens gibt es viele Risiken mit Data Lakes, von hohen Managementkosten, Skill Gaps, Sicherheits- und Governance-Bedenken, Portabilitätsissues beim Verschieben von Daten zwischen Clouds und Storage-Plattformen und der langjährigen Sorge, dass der Data Lake zum Sumpf wird, wenn Daten zu groß und verworren werden, um zu suchen und zu analysieren.

Hier sind einige Überlegungen beim Einbringen von Dateidaten in einen Cloud Data Lake, um Streit zu vermeiden oder zu minimieren.

1. Data Lake optimieren. Bevor Daten analysiert werden können, müssen sie bereinigt, normalisiert und klassifiziert werden, was ein hochmanueller Prozess sein kann, der zu Kostenüberläufen und langsamer Time-to-Value beiträgt. Das war immer eine Herausforderung für Data Warehouse Initiativen und das gleiche gilt für Data Lakes und Data Lakehouses. Data Lakes sind ansprechend, weil sie Daten in ihrem nativen Format ingestieren können; Optimierung vor dem Einfügen der Daten in den Lake zerstört diese Ease-of-Use. Wie können Sie Dateidaten automatisch optimieren, ohne eine Änderung des Nutzerverhaltens zu erfordern? Der Schlüssel zur Optimierung von Dateidaten sind die Metadaten: die Informationen zu Dateitypen, Erstellungs- und letzten Zugriffsdaten, Ownern, Projekten und Standorten. Die Fähigkeit, Dateien automatisch auf Metadaten-Eigenschaften zu indexieren und zu taggen, wird Data Swamp Issues vermeiden und es einfacher machen, später zu suchen und zu segmentieren, im Gegensatz dazu, Data Lakes unmanaged zu lassen.
2. Metadaten-Indexing nutzen, um präzise Datensätze für spezifische Bedürfnisse zu finden. Tools, die Dateien indexieren und Metadaten über Storage hinweg suchen können (einschließlich On-Premises, Edge und Cloud Locations), können Milliarden von Dateien auf ein paar Tausend eingrenzen, sodass Sie nur die präzisen Dateien, die Sie analysieren wollen, in die Cloud senden.
3. Daten im Vorbeigehen taggen für verbesserte Suchbarkeit und Usability. Sobald Sie die Dateien gefunden haben, die Sie brauchen, können Sie dann ein Machine Learning System nutzen, um die Suche mit weiteren Tags weiter zu verfeinern. Dieser Prozess muss kontinuierlich und automatisiert sein, damit sich über Zeit zusätzliche Struktur entwickelt und leichtere Suchbarkeit zu Ihrem Data Lake kommt zusammen mit höherer Gesamtqualität.
4. Den Edge berücksichtigen. Da Edge Computing wächst aufgrund neuer Use Cases aus Sensordaten, wird Streaming Data vom Edge unhaltbar. Wie können Sie mehr Daten am Edge verarbeiten und nur das, was Sie brauchen, in einen Cloud Data Lake nehmen? Edge Pre-Processing wird kritischer, wenn Edge-Datenvolumen wachsen.
5. Taxonomien nach Industrie erstellen. Es gibt keine Standard-Tagging-Nomenklatur für jede Industrie. Einige gemeinsame Tagging-Klassifikationen nach Sektor werden Daten einfacher zu suchen und zu extrahieren machen, besonders in kollaborativen Umgebungen wie Forschung und Life Sciences.
6. Datenmobilität adressieren. Um wirklich mobil zu sein, sollten Daten in der Lage sein, in verschiedenen Systemen über Hybrid Cloud Environments zu residieren, während sie auch nativ die Services in diesen Environments zugreifen. Daten aus proprietären Storage-Systemen zu befreien, gibt Kontrolle zurück an IT und eliminiert Gebühren und Mühe beim Verschieben von Daten von einer Plattform zur nächsten. Die Art, wie Daten genutzt und zugegriffen werden und ihr Wert ändern sich über Zeit. Durch Future-Proofing Ihrer Daten können Sie sich an Veränderung und neue Anforderungen anpassen. Unabhängige Datenmobilitäts- und Management-Lösungen können hier helfen.
7. Die richtige Kultur aufbauen. Führende IT-Organisationen identifizieren weiterhin Kultur – Menschen, Prozesse, Organisation, Change Management – als größtes Hindernis, um datengetriebene Organisationen zu werden, laut 2021 Research von New Vantage Partners. Eine datengetriebene Kultur muss nicht nur die Analysten und Lines of Business umfassen, sondern IT-Infrastruktur-Teams. IT-Leader müssen eine Rolle spielen, um Data Storage, Server und Networking Professionals dabei zu helfen, ihre Verantwortlichkeiten und täglichen Aufgaben auf ein datenzentriertes Entscheidungsfindungs-Framework umzuorientieren. Tools und Prozesse sollten cross-funktional sein, um einen ganzheitlichen Blick auf die Daten-Assets der Organisation und Kollaboration um Strategien für das Management dieser Assets für organisatorischen Gewinn zu ermöglichen.

Cloud Data Lakes haben an Popularität gewonnen, weil Daten in ihrem nativen Format ohne die extensive Pre-Processing, die für Data Warehouses nötig ist, ingestiert werden können. Die Kehrseite ist, dass Data Lakes zu Data Swamps geworden sind, besonders für unstrukturierte Dateidaten, da diese Daten keine gemeinsame Struktur haben. Die Analyse von Dateidaten wird kritischer mit dem Aufstieg von KI/ML-Engines, die darauf angewiesen sind. Cloud Data Lakes können für unstrukturierte Daten optimiert werden, ohne ihre Attraktivität der Ingestion im nativen Format zu zerstören, indem die Indexierung, Suche, Sammlung und Optimierung von Dateidaten automatisiert wird.