Vorsprung durch Daten über Daten

Da IoT-Daten zu einem immer wichtigeren Teil des Geschäftsbetriebs von Unternehmen werden, kann die Möglichkeit, die Latenzzeiten bei der Datenanalyse und -verarbeitung zu reduzieren, einen Unterschied machen. Es hebt das Versprechen von Echtzeit auf eine neue Ebene.

Es werden viele Daten über IoT-Netzwerke bewegt – bis zu dem Punkt, an dem das Identifizieren und Lokalisieren von Daten von wesentlicher Bedeutung die Arbeit verlangsamen kann. Metadaten – Daten über Daten – sind der Schlüssel zum Datenreich, insbesondere wenn es um die Indizierung und Identifizierung unstrukturierter Daten geht. So wie Daten Unternehmensfunktionen überfordern können, können Metadaten die Dinge noch weiter verlangsamen.

Ein neuer Vorschlag, der auf der jüngsten IEEE Edge Computing-Konferenz vorgestellt wurde,
bietet eine Möglichkeit, das Problem der Zuweisung von Terabytes an Metadaten in vielen Anwendungsdomänen anzugehen – was sie als „effiziente und skalierbare Metadaten“ bezeichnen, ein Begriff, der in der Vor-Edge-, Batch-Ära nicht einmal notwendig gewesen wäre.

Die Forscher Bing Zhang von der University of Illinois und Tevfik Kosar von der University at Buffalo stellten eine Lösung vor, die Metadaten schneller und effizienter über IoT-Netzwerke verschiebt. Sie entwickelten auch eine Möglichkeit, den Zugriff auf Metadaten im gesamten Netzwerk zwischenzuspeichern und vorherzusagen, was möglicherweise die Latenz beim Datenzugriff und bei der Bewegung verringern könnte. „Wir haben etwa 20 Millionen Zugriffsvorgänge auf Metadaten aus echten Audit-Traces wiederholt, wobei unser System bei der Prefetch-Vorhersage eine Genauigkeit von 80 % erreichte und die durchschnittliche Abruflatenz im Vergleich zu den hochmodernen Mechanismen um 50 % reduzierte.“

Siehe auch: Deloitte-Bericht beschreibt den Umfang der Datenmodernisierungsherausforderung

Bereits „mehr als 50 % aller E/A-Vorgänge sind metadatenintensiv
Computing und die Anforderungen zum Lesen von Dateiattributen dominieren bei allen Workloads“, erklären Zhang und Kosar. Sie sagen, dass aggressivere Prefetch-Routinen – die Daten in Erwartung bevorstehender Benutzeranfragen vom Speicher in den temporären Speicher verschieben – besser mit Metadaten arbeiten können als mit den eigentlichen Daten selbst.

Die Autoren testeten eine solche Architektur unter Verwendung von Yahoo Hadoop-Grid-Trace-Protokollen aus dem Yahoo! Webscope-Datensatz, bestehend aus kontinuierlichen täglichen Metadatenoperationen des Hadoop-Namensknotens im Jahr 2010. Das System erreichte „eine Vorhersagerate von 80 % bei seiner Metadatenoperation und reduzierte die durchschnittliche Abruflatenz um 50 % im Vergleich zu anderen hochmodernen Mechanismen“. sie berichten. „Dies ist freundlich zum IoT-Netzwerk, wo IoT-Geräte mit den begrenzten Rechen- und Speicherkapazitäten die gleiche durchschnittliche Abruflatenz erreichen können wie der Proximity-Edge/Fog-Rechenknoten.“

Da IoT-Daten zu einem immer wichtigeren Teil des Geschäftsbetriebs von Unternehmen werden, kann die Möglichkeit, die Latenzzeiten bei der Datenanalyse und -verarbeitung zu reduzieren, einen Unterschied machen. Es hebt das Versprechen von Echtzeit auf eine neue Ebene.