IoT-Performance mit Metadaten-getriebenen Daten-Insights steigern

Da IoT-Daten ein wichtigerer Teil von Enterprise-Business-Operationen werden, kann die Fähigkeit, Latenz in Daten-Analytics und -Verarbeitung zu reduzieren, einen Unterschied machen. Sie hebt das Versprechen von Echtzeit auf ein neues Level.

Es bewegen sich viele Daten über IoT-Netzwerke – bis zu dem Punkt, wo Identifizierung und Lokalisierung von Daten von materieller Wichtigkeit Dinge verlangsamen kann. Metadaten – Daten über Daten – sind der Schlüssel zum Datenkönigreich, besonders bei Indexierung und Identifikation unstrukturierter Daten. Genau wie Daten Enterprise-Funktionen überfordern können, können Metadaten Dinge noch weiter verlangsamen.

Ein neuer Vorschlag, vorgestellt auf der kürzlichen IEEE Edge Computing Conference, bietet einen Weg, das Problem von Terabytes Metadaten anzugehen, die in vielen Applikationsdomänen zugewiesen werden – was sie „effiziente und skalierbare Metadaten“ nennen, ein Begriff, der in der Pre-Edge, Batch-Ära nicht einmal nötig gewesen wäre.

Die Forscher, Bing Zhang von der University of Illinois und Tevfik Kosar von der University at Buffalo, schlagen eine Lösung vor, die Metadaten schneller und effizienter über IoT-Netzwerke bewegt. Sie entwickelten auch einen Weg, Metadaten-Zugriff über das Netzwerk zu cachen und vorherzusagen, was potenziell Latenz in Datenzugriff und -bewegung reduzieren könnte. „Wir replayten etwa 20 Millionen Metadaten-Zugriffsoperationen aus echten Audit Traces, in denen unser System 80 % Genauigkeit bei Prefetch-Vorhersage erreichte und die durchschnittliche Fetch-Latenz um 50 % im Vergleich zu State-of-the-Art-Mechanismen reduzierte.“

Siehe auch: Deloitte Report Details Scope of Data Modernization Challenge

Bereits „sind mehr als 50 % aller I/O-Operationen auf metadata-intensive Computing und Requests zum Lesen von Dateiattributen in allen Workloads dominant“, sagen Zhang und Kosar. Sie sagen, aggressivere Prefetch-Routinen – die Daten von Storage in temporären Memory in Antizipation kommender User-Requests bewegen – können mit Metadaten besser funktionieren als mit eigentlichen Daten selbst.

Die Autoren testeten eine solche Architektur, indem sie Yahoo Hadoop Grid Trace Logs aus dem Yahoo! Webscope Dataset einsetzten, bestehend aus kontinuierlichen täglichen Metadaten-Operationen des Hadoop Name Node in 2010. Das System erreichte „eine 80 % Vorhersagerate bei seinen Metadaten-Operationen und reduzierte die durchschnittliche Fetch-Latenz um 50 % im Vergleich zu anderen State-of-the-Art-Mechanismen“, berichten sie. „Dies ist freundlich für IoT-Netzwerke, wo IoT-Geräte mit begrenzten Computing- und Storage-Fähigkeiten die gleiche durchschnittliche Fetch-Latenz erreichen können wie Proximity Edge/Fog Compute Nodes.“

Da IoT-Daten ein wichtigerer Teil von Enterprise-Business-Operationen werden, kann die Fähigkeit, Latenz in Daten-Analytics und -Verarbeitung zu reduzieren, einen Unterschied machen. Sie hebt das Versprechen von Echtzeit auf ein neues Level.