Unstrukturierte Daten:Die versteckten Kosten für die Industrie – wie man sie in Wert umwandelt

In jeder Branche sind Dateningenieure und Datenwissenschaftler bestrebt, die in Dateifreigaben verborgenen und in verschiedenen Systemen gesperrten Daten besser zu nutzen. Sie benötigen diese Daten, um Arbeitsabläufe für KI- und Analysetools zu erstellen, damit sie mehr über ihre Märkte erfahren, neue Produkte und Dienstleistungen entwickeln oder Geschäftsabläufe und Kundenbeziehungen verbessern können.

Die andere Seite dieser Gleichung ist, dass Unternehmensdaten erhebliche Risiken mit sich bringen, die weder vom Unternehmen noch von der IT verstanden werden. Zum Beispiel:

• Datenspeicherung und Backups machen mindestens 30 % der meisten IT-Budgets aus, wenn Geld für Innovation, Cybersicherheit und großartige Kundenerlebnisse ausgegeben werden muss;
• Die meisten unstrukturierten Daten werden nicht für den geschäftlichen Nutzen genutzt;
• Ein großer Prozentsatz unstrukturierter Daten, bis zu 80 %, wird selten verwendet und nimmt teuren Speicherplatz in Anspruch;
• Viele Organisationen haben keine klaren Aufbewahrungs- und Löschrichtlinien und führen auch keine regelmäßigen Bereinigungsmaßnahmen für ihre Daten durch, aus Angst, dass die Abteilungen zurückschlagen könnten. Allein doppelte Daten können leicht 30 bis 40 % des durchschnittlichen Datenvolumens eines Unternehmens ausmachen;
• Unverwaltete und unbekannte unstrukturierte Datenbestände in hybriden IT-Silos schaffen zusätzliche Sicherheits- und Compliance-Risiken.

Hier ist ein Blick auf verschiedene Branchen und ihre Datenmanagementanforderungen und -herausforderungen, die sich aus unserer jahrelangen Arbeit mit Kunden an Strategien für das unstrukturierte Datenmanagement ergeben.

Gesundheitswesen:Kosten senken, ohne den Zugang zu wichtigen Daten einzuschränken  

Das Gesundheitswesen ist ein Datenmonster. Einigen Schätzungen zufolge sind Gesundheitsorganisationen die weltweit größten Datenproduzenten, was vor allem auf die Menge verschiedener klinischer Bilder und Maschinendaten zurückzuführen ist. Kostendämpfung ist und war schon immer ein dringendes Gebot im Gesundheitswesen, und jetzt mit den Änderungen bei der Medicare-Erstattung ist dies umso mehr der Fall. Gesundheitsorganisationen sind außerdem mit strengen Vorschriften zur Datenaufbewahrung und Schwierigkeiten bei der Datenlöschung aufgrund gesetzlicher und wissenschaftlicher Anforderungen konfrontiert. 

Ein führendes Gesundheitssystem, das über 16 PB NAS-Speicher verwaltet, wandte sich der unstrukturierten Datenverwaltung zu, um kalte Daten in Azure Blob zu analysieren und zu archivieren, wodurch der Druck auf seine primären Speichersysteme verringert wurde. Ohne die Benutzer zu unterbrechen, verschob die IT-Organisation mehr als 2 PB an Daten und trug so dazu bei, kostspielige Hardware-Aktualisierungen zu verzögern. 

Für Organisationen mit Chain-of-Custody-Anforderungen, wie sie in regulierten Branchen wie dem Gesundheitswesen üblich sind, ist die Transparenz des Dateispeicherorts und der Metadaten von entscheidender Bedeutung. Da Compliance angesichts der hohen Sensibilität rund um Patientendaten eine allgegenwärtige Notwendigkeit darstellt, bieten die vollständige Sichtbarkeit, Suche und Prüfung unstrukturierter Daten den IT-Leitern im Gesundheitswesen eine bessere Kontrolle, um Risiken zu senken.

Biowissenschaften:Datenchaos in Forschungsbeschleunigung verwandeln

Life-Science-Organisationen sind auch einer der größten datenproduzierenden Sektoren. Sie haben es häufig mit Millionen kleiner, aber wertvoller Dateien, unvorhersehbaren Datenmengen und der Notwendigkeit einer langfristigen Aufbewahrung ohne klare Löschrichtlinien zu tun. Diese Faktoren erschweren die Planung der IT-Infrastruktur.

In Biopharmazeutika- und Biotech-Laboren stellt die explosionsartige Zunahme der TIF-Bilddateien von wissenschaftlichen Instrumenten zusätzliche Herausforderungen dar. In einem Beispiel stellte ein Unternehmen von lokal gespeicherten Forschungsdaten auf ein zentralisiertes NAS-Array um. Um mit dem schnellen Wachstum Schritt zu halten, implementierte das IT-Team Cloud-Tiering in Azure und nutzte Datenanalysen, um veraltete Daten zu lokalisieren und zu verschieben. Dies verhinderte eine Überbereitstellung und half der IT, Forschungspipelines ohne Engpässe zu unterstützen. 

IT-Teams in Unternehmen können normalerweise keine Informationen über ihre an einem Ort gespeicherten Daten sehen, sagte Anthony Fiore, Experte für Speicherlösungen bei AWS. Detaillierte Transparenz, die durch Datenverwaltungssoftware bereitgestellt wird, ist für IT-Mitarbeiter in den Biowissenschaften und anderen Sektoren spannend:„Wir haben Kunden mit NAS-Freigaben, die viele Datensilos in einer einzigen Freigabe enthalten, und es ist schwer zu wissen, wie sie diese nach Geschäftsbereichen aufschlüsseln können oder ob ihnen diese Daten überhaupt wichtig sind. Aber sobald sie alle Metadaten sehen, verstehen sie besser, wie alles funktioniert, und können sie später markieren und danach suchen.“

Finanzdienstleistungen:Eliminieren Sie Risiken und stärken Sie die KI mit sauberen, kontrollierten Daten

Finanzinstitute unterliegen strengen regulatorischen Auflagen (z. B. SEC, FINRA, DSGVO) und werden oft durch jahrzehntelanges Dateifreigabewachstum belastet. Datenwucherung, dezentrale IT-Kontrolle und Compliance machen die Verwaltung dateibasierter Daten äußerst komplex. Darüber hinaus müssen Finanzinstitute sicherstellen, dass KI-Modelle, die für Kreditrisiken, Betrugserkennung oder Handel verwendet werden, angemessen und frei von Vorurteilen und veralteten Daten gesteuert werden. Eine systematische Methode zum Verstehen, Bereinigen und Klassifizieren von Daten sowie zum Erstellen sicherer und überwachter KI-Daten-Workflows ist ein wachsender Bedarf. 

Für ein multinationales Versicherungsunternehmen ging es bei der Umstellung auf Azure nicht nur um Kosteneinsparungen, sondern auch um Modernisierung, Analyse und KI-Bereitschaft. Sie nutzten die unstrukturierte Datenverwaltung, um den Kapazitätsbedarf des teuren Primärspeichers im Rechenzentrum zu reduzieren, indem sie über 600 TB auf kostengünstigeren Objekt-Cloud-Speicher verlagerten. Sie nutzen auch cloudbasierte Tools, um KI-gestützte Versicherungsprodukte zu entwickeln, wobei unstrukturierte Daten einen entscheidenden Teil dieser Vorhersagemodelle bilden. Die Fähigkeit, unstrukturierte Daten vor der KI-Aufnahme zu klassifizieren und zu segmentieren, ist für die Kostenverwaltung und die Bereitstellung genauer Ergebnisse von entscheidender Bedeutung.

Siehe auch: Entkommen Sie der Datenspeicherfalle durch visuelle Echtzeitintelligenz

Landes- und Kommunalverwaltung:Verlängern Sie die Lebensdauer der Infrastruktur und stärken Sie die Datenüberwachung

IT-Organisationen im öffentlichen Sektor verfügen tendenziell über eine veraltete Infrastruktur und einen höheren Anteil an Legacy-Anwendungen als der private Sektor. Sie wollen modernisieren, aber die Budgets sind in der Regel knapp und die Cloud-Nutzung ist aufgrund von Sicherheitsrichtlinien und gesetzlichen Vorschriften, die eine Datenaufbewahrung ohne klare Löschpfade erfordern, nur minimal. IT-Führungskräfte müssen die Bereitstellung von Diensten mit strengen Compliance-Anforderungen in Einklang bringen. 

Für staatliche Behörden trägt die Archivierung von Dateien in der Cloud dazu bei, die Abhängigkeit von veralteter Hardware zu verringern. Die Einsicht in die letzten Änderungs-/Zugriffsdaten ermöglicht es der IT, nur selten aufgerufene Daten aus Hochleistungsspeichern zu verschieben. Gleichzeitig ist die Integration von Speicher- und Datenverwaltungssystemen mit Sicherheits- und Compliance-Tools von entscheidender Bedeutung, um einen sicheren und überprüfbaren Zugriff zu gewährleisten. Auch wenn die Einführung von Data Tiering weiterhin zurückhaltend ist, nutzen viele Behörden die Berichterstellung, um Argumente für unstrukturierte Datenlebenszyklusrichtlinien zu liefern, insbesondere im Zusammenhang mit stagnierenden Abteilungsdaten.

Ingenieurwesen und Architektur:Gewinnen Sie mehr Projekte durch die Erschließung verborgener Datenwerte

Ingenieur- und Designfirmen generieren unstrukturierte Daten in großem Umfang, insbesondere aus CAD-, GIS- und 3D-Modellierungsdateien. Diese Dateien sind groß und schwierig zu verwalten, insbesondere über verteilte Teams und übernommene Legacy-Systeme aus M&A-Aktivitäten. Diese Firmen müssen historische Projektdaten zu Referenz-, Haftungs- und Wiederverwendungszwecken aufbewahren. Ein globales Unternehmen, das über 6 PB verwaltet, nutzt die unstrukturierte Datenverwaltung, um Projektdateien, die älter als drei Jahre sind, zu identifizieren und in ein Cloudian-Archiv zu verschieben, das in Azure gesichert wird. Dadurch bleibt die Leistung auf aktiven HPE-Arrays erhalten und gleichzeitig die Zugänglichkeit erhalten. In einem Fall halfen ihnen Abfragen in ihren Dateidatenspeichern, schnell Bodentestdaten für ein Projekt in einem erdbebengefährdeten Gebiet zu finden, was Zeit sparte und den Entwurf einer kritischen Infrastruktur unterstützte.

Während die Firma weiterhin Akquisitionen integriert, nutzt sie Analysen, um neu übernommene Dateiserver zu bewerten. Dank dieser Transparenz können sie Prioritäten festlegen, was aufbewahrt, migriert oder archiviert werden soll. Ihr Ziel ist es, letztendlich alle unstrukturierten Daten zu indizieren, um eine KI-basierte Modellierung zu ermöglichen und Wissenssilos in allen Geschäftsbereichen zu reduzieren.

Energie:Verbessern Sie die Effizienz vor Ort und die Einhaltung zentralisierter Daten

Diese Unternehmen sind mit Einschränkungen bei Remote-Standorten, schwankender Bandbreite, der Einhaltung internationaler Sicherheits- und Betriebsvorschriften sowie einem zunehmenden Bedarf an der Unterstützung datengesteuerter Ferndiagnosen und digitaler Zwillinge konfrontiert.

In einem Unternehmen fiel die Entscheidung für die Einführung einer unstrukturierten Datenverwaltung auf die Notwendigkeit, Edge-Storage an Hunderten von Remote-Standorten außer Betrieb zu nehmen. Da sich Videoprotokolle, Zeichnungen und Offshore-Wartungsaufzeichnungen häuften, begannen sie, Kaltdaten in Azure zu archivieren, um ihre unstrukturierten Daten zu zentralisieren und zu kontrollieren.

Mit der Einführung von Rückbuchungsmodellen wurden Einblicke in Dateidaten für die Rechenschaftspflicht der Abteilungen von entscheidender Bedeutung. Das langfristige Ziel besteht darin, Vermessungs- und Inspektionsdaten-Workflows, wie Unterwasser-ROV-Bilder, in KI-fähigen Umgebungen für vorausschauende Wartung und Compliance zu unterstützen. 

Halbleiter / Fertigung:Schützen Sie geistiges Eigentum und reduzieren Sie gleichzeitig den teuren Speicherbedarf

Halbleiterunternehmen müssen hochwertiges geistiges Eigentum schützen, weltweit verteilte Daten verwalten und strenge Exportkontroll- und Sicherheitsanforderungen einhalten und gleichzeitig sicherstellen, dass Ingenieure leistungsstarken Zugriff auf aktive Datensätze haben.

Ein globaler Halbleiterhersteller verwendet hochspezialisierte Scangeräte, die große Mengen proprietärer Bilddaten generieren. Da 97 % der Daten immer noch vor Ort gespeichert sind, benötigten sie eine effiziente Methode zur Archivierung älterer Scandaten, ohne den IP-Schutz oder die Abrufleistung zu beeinträchtigen. Durch die Kombination der unstrukturierten Datenverwaltung mit Cloudian S3-Speicher implementierten sie Cold-Data-Richtlinien, um alle Dateien, auf die innerhalb von 12 Monaten nicht zugegriffen wurde, von den Primärservern zu verschieben. Mit symbolischer Linkerhaltung und Metadatenverfolgung stellte das Unternehmen die Einhaltung interner IP-Verarbeitungsprotokolle sicher und verringerte die Abhängigkeit von teuren primären NAS.

Fazit:Verwandeln Sie unstrukturierte Daten in einen strategischen Geschäftswert

Branchenübergreifend ist unstrukturiertes Datenmanagement nicht mehr nur eine kostensparende Taktik, sondern ein strategischer Wegbereiter. Ob es um die Unterstützung von KI-Workflows im Versicherungswesen, die Aufrechterhaltung der Einhaltung gesetzlicher Vorschriften im Gesundheitswesen oder die Rationalisierung der Infrastruktur in der Fertigung geht:Unternehmen erkennen die Notwendigkeit, Datenverwaltung mit flexiblem Datenzugriff und -bewegung zu kombinieren.