Unstrukturierte Daten: Die verborgenen Kosten für Industrien – Wie man sie in Wert verwandelt

In jeder Branche suchen Data Engineers und Data Scientists danach, die in File Shares versteckten und in verschiedenen Systemen eingesperrten Daten besser zu nutzen. Sie brauchen diese Daten, um Workflows für KI- und Analytics-Tools zu erstellen, damit sie mehr über ihre Märkte erfahren, neue Produkte und Services schaffen oder Geschäftsabläufe und Kundenbeziehungen verbessern können.

Die andere Seite dieser Gleichung ist, dass Enterprise-Daten ample Risiken bergen, die weder vom Business noch selbst innerhalb der IT gut verstanden werden. Zum Beispiel:

• Datenspeicherung und Backups machen mindestens 30 % der meisten IT-Budgets aus, wenn Geld für Innovation, Cybersicherheit und großartige Kundenerfahrungen ausgegeben werden muss;
• Die meisten unstrukturierten Daten werden nicht für geschäftlichen Wert genutzt;
• Ein großer Prozentsatz unstrukturierter Daten, bis zu 80 %, wird selten genutzt und belegt teuren Speicherplatz;
• Viele Organisationen haben keine klaren Retentions- und Löschrichtlinien und führen keine regelmäßigen Bereinigungsübungen ihrer Daten durch, aus Sorge, dass Abteilungen zurückschlagen. Allein Duplicate-Daten können leicht 30 bis 40 % des durchschnittlichen Enterprise-Daten-Footprints ausmachen;
• Unverwaltete und unbekannte unstrukturierte Datenbestände über hybride IT-Silos hinweg schaffen zusätzliche Sicherheits- und Compliance-Risiken.

Hier ein Blick auf mehrere Branchen und ihre Datenmanagement-Anforderungen und -Herausforderungen, basierend auf unseren Jahren der Zusammenarbeit mit Kunden an Strategien für unstrukturiertes Datenmanagement.

Gesundheitswesen: Kosten senken ohne Zugriff auf lebenswichtige Daten zu opfern

Gesundheitswesen ist ein Daten-Ungetüm. Nach einigen Schätzungen sind Gesundheitsorganisationen die weltweit größten Datenproduzenten, getrieben vor allem durch das Volumen verschiedenster klinischer Bilder und Maschinendaten. Kosteneindämmung war und ist ein dringendes Gebot im Gesundheitswesen, und noch mehr jetzt mit Änderungen bei der Medicare-Erstattung. Gesundheitsorganisationen stehen auch vor strengen Datenspeichervorschriften und Schwierigkeiten beim Löschen von Daten aufgrund rechtlicher und forscherischer Anforderungen.

Ein führendes Gesundheitssystem, das über 16 PB NAS-Speicher verwaltet, wandte sich unstrukturiertem Datenmanagement zu, um kalte Daten zu analysieren und in Azure Blob zu archivieren, was den Druck auf seine primären Speichersysteme reduzierte. Ohne Benutzer zu unterbrechen, verschob die IT-Organisation mehr als 2 PB Daten, was teure Hardware-Refreshes hinauszögerte.

Für Organisationen mit Chain-of-Custody-Anforderungen, die in regulierten Branchen wie dem Gesundheitswesen üblich sind, ist Transparenz über Datei-Standort und Metadaten kritisch. Schließlich ist Compliance ein ständiges Bedürfnis angesichts der hohen Sensibilität rund um Patientendaten – vollständige Transparenz, Suche und Auditierung unstrukturierter Daten geben Health-IT-Direktoren größere Kontrolle, um Risiken zu senken.

Life Sciences: Datenchaos in Forschungsbeschleunigung verwandeln

Life-Sciences-Organisationen gehören auch zu den größten datenproduzierenden Sektoren. Sie haben oft mit Millionen kleiner, aber hochwertiger Dateien, unvorhersehbaren Datenausbrüchen und der Notwendigkeit langfristiger Retention ohne klare Löschrichtlinien zu tun. Diese Faktoren verkomplizieren die IT-Infrastrukturplanung.

In biopharmazeutischen und Biotech-Labors schafft die Explosion von TIF-Bilddateien von wissenschaftlichen Instrumenten zusätzliche Herausforderungen. In einem Beispiel wechselte ein Unternehmen von lokal gespeicherten Forschungsdaten zu einem zentralisierten NAS-Array. Um mit dem rasanten Wachstum Schritt zu halten, deployte das IT-Team Cloud-Tiering zu Azure und nutzte Datenanalytik, um veraltete Daten zu identifizieren und zu verschieben. Dies verhinderte Over-Provisioning und half IT, Forschungspipelines ohne Bottlenecks zu unterstützen.

Enterprise-IT-Teams können typischerweise Informationen über ihre an einem Ort gespeicherten Daten nicht an einem Ort sehen, sagte Anthony Fiore, ein Storage-Solutions-Experte bei AWS. Detaillierte Transparenz, geliefert durch Datenmanagement-Software, begeistert IT-Leute in Life Sciences und anderen Sektoren: „Wir haben Kunden mit NAS-Shares, die viele Datensilos in einem einzelnen Share enthalten, und es ist schwer zu wissen, wie sie sie nach Business Line aufteilen können oder ob sie sich überhaupt für diese Daten interessieren. Aber sobald sie alle Metadaten sehen, bekommen sie ein besseres Verständnis, wie alles funktioniert, und können es dann taggen und später danach suchen.“

Finanzdienstleistungen: Risiko eliminieren und KI mit sauberen, gemanagten Daten antreiben

Finanzinstitute operieren unter strengen regulatorischen Constraints (z. B. SEC, FINRA, GDPR) und sind oft von Jahrzehnten File-Share-Wachstum belastet. Data Sprawl, dezentrale IT-Kontrolle und Compliance machen das Management file-basierter Daten extrem komplex. Zudem müssen Finanzinstitute sicherstellen, dass KI-Modelle, die für Kreditrisiko, Betrugserkennung oder Trading genutzt werden, angemessen gemanagt und frei von Bias und veralteten Daten sind. Einen systematischen Weg zu haben, Daten zu verstehen, zu bereinigen, zu klassifizieren und sichere, überwachte KI-Daten-Workflows zu erstellen, ist eine wachsende Anforderung.

Für ein multinationales Versicherungsunternehmen ging der Umzug zu Azure nicht nur um Kosteneinsparungen, sondern auch um Modernisierung, Analytik und KI-Readiness. Sie nutzten unstrukturiertes Datenmanagement, um Kapazitätsbedarf auf teurem Primärspeicher im Rechenzentrum zu reduzieren, indem sie über 600 TB in kostengünstigeren Cloud-Object-Speicher auslagerten. Sie nutzen auch Cloud-basierte Tools, um KI-erweiterte Versicherungsprodukte zu entwickeln, wobei unstrukturierte Daten einen kritischen Teil dieser prädiktiven Modelle bilden. Die Fähigkeit, unstrukturierte Daten vor der KI-Ingestion zu klassifizieren und zu segmentieren, ist kritisch für das Management von Kosten und die Lieferung präziser Ergebnisse.

Siehe auch: Dem Data Storage Trap in Echtzeit-Visual-Intelligence entkommen

Bundesländer & Kommunen: Infrastruktur-Lebensdauer verlängern und Datenaufsicht stärken

Öffentliche IT-Organisationen neigen dazu, alternde Infrastruktur und einen höheren Prozentsatz an Legacy-Applikationen als der Privatsektor zu haben. Sie wollen modernisieren, aber Budgets sind meist knapp, und Cloud-Adoption ist minimal aufgrund von Sicherheitsrichtlinien, zusammen mit rechtlichen Mandaten, die Datenspeicherung ohne klare Löschpfade erfordern. IT-Führungskräfte müssen Service Delivery mit strengen Compliance-Anforderungen balancieren.

Für Landesbehörden hilft das Archivieren von Dateien in die Cloud, die Abhängigkeit von alternder Hardware zu reduzieren. Transparenz über letzte Änderungs-/Zugriffsdaten ermöglicht IT, nur selten genutzte Daten von High-Performance-Speicher zu verschieben. Gleichzeitig ist die Integration von Speicher- und Datenmanagement-Systemen mit Sicherheits- und Compliance-Tools kritisch, um sicheren und auditierbaren Zugriff zu gewährleisten. Obwohl Data-Tiering-Adoption vorsichtig bleibt, nutzen viele Behörden Reporting, um den Case für unstrukturierte Daten-Lebenszyklus-Policies aufzubauen, besonders um stagnierende Abteilungsdaten.

Engineering & Architecture: Mehr Projekte gewinnen durch Freisetzen versteckten Datenwerts

Engineering- und Design-Firmen generieren unstrukturierte Daten im massiven Maßstab, besonders aus CAD-, GIS- und 3D-Modellierungsdateien. Diese Dateien sind groß und schwer zu managen, besonders über verteilte Teams und geerbte Legacy-Systeme aus M&A-Aktivitäten. Diese Firmen müssen historische Projektdaten für Referenz, Haftung und Wiederverwendung bewahren. Eine globale Firma, die über 6 PB managt, nutzt unstrukturiertes Datenmanagement, um Projektdateien, die älter als drei Jahre sind, in ein Cloudian-Archiv zu identifizieren und zu verschieben, gesichert in Azure. Dies bewahrt Performance auf aktiven HPE-Arrays, während Zugänglichkeit erhalten bleibt. In einem Fall halfen Queries über ihre File Data Stores, schnell Bodentestdaten für ein Projekt in einem erdbebengefährdeten Gebiet zu lokalisieren, was Zeit sparte und ein kritisches Infrastrukturgestützte Design unterstützte.

Während sie weiter Akquisitionen integrieren, nutzt die Firma Analytik, um neu geerbte File Server zu evaluieren. Diese Transparenz lässt sie priorisieren, was zu behalten, migrieren oder archivieren ist. Ihr Ziel ist es, schließlich alle unstrukturierten Daten zu indexieren, KI-basiertes Modeling zu ermöglichen und Wissenssilos über Business Units hinweg zu reduzieren.

Energie: Feldeffizienz und Compliance mit zentralisierten Daten verbessern

Diese Unternehmen stehen vor Remote-Site-Constraints, variabler Bandbreite, Compliance mit internationalen Sicherheits- und Betriebsvorschriften und einem zunehmenden Bedarf, datengestützte Remote-Diagnostik und Digital Twins zu unterstützen.

In einem Unternehmen kam die Entscheidung, unstrukturiertes Datenmanagement einzuführen, aus der Notwendigkeit, Edge-Speicher über hunderte Remote-Standorte abzulösen. Mit Video-Logs, Zeichnungen und Offshore-Wartungsaufzeichnungen, die sich häuften, begannen sie, kalte Daten nach Azure zu archivieren, um ihre unstrukturierten Daten zu zentralisieren und zu kontrollieren.

Mit Chargeback-Modellen wurden File-Data-Einblicke entscheidend für departmentale Accountability. Das langfristige Ziel ist es, Survey- und Inspektionsdaten-Workflows, wie Unterwasser-ROV-Bilder, in KI-bereite Umgebungen für prädiktive Wartung und Compliance zu unterstützen.

Halbleiter / Fertigung: IP schützen und teuren Storage-Footprint reduzieren

Halbleiterfirmen müssen hochwertiges IP schützen, global verteilte Daten managen und strenge Exportkontroll- und Sicherheitsanforderungen einhalten, während sie Ingenieuren High-Performance-Zugriff auf aktive Datensets gewährleisten.

Ein globaler Halbleiterhersteller nutzt hochspezialisierte Scanning-Ausrüstung, die riesige Mengen proprietärer Bilddaten generiert. Mit 97 % der Daten noch On-Premises gespeichert, brauchten sie eine effiziente Methode, ältere Scan-Daten zu archivieren, ohne IP-Schutz oder Retrieval-Performance zu kompromittieren. Durch die Kombination von unstrukturiertem Datenmanagement mit Cloudian S3 Storage implementierten sie Cold-Data-Policies, um Dateien, die in 12 Monaten nicht zugegriffen wurden, von primären Servern zu verschieben. Mit Symbolic-Link-Erhaltung und Metadaten-Tracking stellte das Unternehmen Compliance mit internen IP-Handling-Protokollen sicher und reduzierte die Abhängigkeit von teurem primärem NAS.

Fazit: Unstrukturierte Daten in einen strategischen Business Asset verwandeln

Branchenübergreifend ist unstrukturiertes Datenmanagement nicht mehr nur eine Kostensenkungs-Taktik, sondern ein strategischer Enabler. Ob es KI-Workflows in der Versicherung unterstützt, regulatorische Compliance im Gesundheitswesen wahrt oder Infrastruktur in der Fertigung strafft – Organisationen erkennen die Notwendigkeit, Data Governance mit flexiblem Datenzugriff und -bewegung zu kombinieren.