Konvergierende Technologien ermöglichen Elasticsearch in Milliardenhöhe

Digitale Konvergenz findet überall um uns herum statt, da Technologien, die ursprünglich nicht miteinander verbunden waren, auf aufregende neue Weise zusammenkommen. Das iPhone ist ein perfektes Beispiel, das ein Telefon mit einem Computer, einer Kamera und Sensoren kombiniert, um ein herausragendes Erlebnis zu bieten.

Konvergenz ist im eingebetteten Raum nicht neu. Eingebettete Geräte unterliegen traditionell strengeren Einschränkungen bei Speicher und Verarbeitung und haben Konvergenz als Möglichkeit angenommen, das Beste aus vielen technologischen Bereichen herauszuholen. Da wir also erst am Anfang der Konvergenz von Technologien unterschiedlichen Maßstabs stehen, mit scheinbar unterschiedlichen Technologien, die versprechen, sich zusammenzuschließen, um bestehende Industrien zu revolutionieren und überzeugende neue Möglichkeiten zu eröffnen, wird auch der eingebettete Raum davon profitieren. Eine neue Konvergenz ist die Verwendung von k-NN-Nächster Nachbar (k-NN) mit In-Memory-Beschleunigungsverarbeitung, um nahezu in Echtzeit Antworten für Elasticsearch-Operationen im Milliardenbereich bereitzustellen.

Elasticsearch ist eine Suchmaschine, die JSON-Anfragen für Dokumentsuchen entgegennimmt und JSON-Daten als Ergebnisse liefert. Das Elasticsearch-Datenformat ist ein Dokument mit strukturierten Daten, die in JSON kodiert sind. Elasticsearch begann als Suchmaschine für Text, aber die Datenbank kann jede Art von Daten abdecken, wobei jedes Dokument eine eindeutige ID und einen Datentyp hat.

Da die Struktur „schemafrei“ ist, können Dokumente nach Bedarf des Benutzers definiert werden. Beispiele für Dokumente in Elasticsearch-Datenbanken sind:

• Bilder, die verwendet werden, um Suchanfragen von Verbrauchern zu identifizieren.
• Netzwerkdatenprotokolle zur Identifizierung von Netzwerkangriffen, Anomalien oder Lastungleichgewichten.
• Produktbelege, die verwendet werden, um Kaufmuster von Kunden zu erkennen und das Bestandsmanagement zu verbessern.
• Netzwerkarchitektur für die automatische Freigabe und Replikation.
• Textdokumente, die verwendet werden, um bestimmte literarische Instanzen zu finden.
• Textdokumente mit Eins-zu-Viele-Zuordnungen für die computergestützte Übersetzung.

Elasticsearch wurde für den Vertrieb entwickelt. Es ist in der Infrastruktur skalierbar und flexibel für lokalen Server, Remote-Server oder Cloud-basierten Betrieb. Dank ihrer offenen und ruhigen API-Struktur lässt sich die erweiterbare Suchmaschine mühelos mit Plugins nutzen. Ein solches Plugin stammt von GSI Technology und bietet eine Reihe von Vorteilen, darunter hardwarebeschleunigtes k-NN, die Verwendung von Vektoren für die multimodale Suche und das Zusammenführen von Score-Ergebnissen.

Elasticsearch verlässt sich bei der Skalierbarkeit auf seine Unterstützung für verteiltes Computing, und seine rasenden Geschwindigkeiten liegen bei Datenbanksuchen im Millionenbereich im Sekundenbereich. Aufgrund seiner verteilten Natur und der Sharding-Unterstützung ermöglicht Elasticsearch die Duplizierung von Daten, die Parallelisierung der Suche und die Beschleunigung für größere Datenbanken. Die verteilte Funktionalität, die sich aus der HTTP-Befehlseingabe ergibt, ermöglicht auch die Durchführung mehrerer Suchen mit unterschiedlicher Auflösung durch ein eingebettetes Gerät – eine auf lokalen Ressourcen und eine auf Upstream-Ressourcen.

Core Elasticsearch verwendet einen rechenintensiven erschöpfenden Match (Match all), der es verlangsamt oder es bei doppelter Hardware recht teuer macht, eine umfangreiche Datenbanksuche zu unterstützen. Eine Technik, die verwendet werden kann, um die Datenbankgröße zu erhöhen, ist die k-NN-Suche. Es funktioniert, indem zuerst nach Ähnlichkeiten in gemeinsamen Gruppierungen gesucht wird und dann die endgültige Suche innerhalb dieser einen oder mehreren Gruppierungen durchgeführt wird. Diese Technik ermöglicht auch die Durchführung großer Datenbanksuchen auf Edge-Scale-Servern anstelle von Cloud-basierten Computing-Farmen für sehr latenzempfindliche Anwendungen.

Rechentechnisch anspruchsvoller Ansatz

Obwohl k-NN eine Methodik für Elasticsearch bietet, um sehr große Datenbanken zu unterstützen, z. Infolgedessen war es eine Herausforderung, k-NN zu beschleunigen, da die Datenbanken zwischen GPU- oder CPU-Kernen verschoben werden müssen.

Eine der größten Einschränkungen bei der Arbeitslastbeschleunigung ist die Einschränkung des erforderlichen Datenaustauschs zwischen Prozessoren und Speicher. Ein Hauptnachteil der in modernen Prozessoren verwendeten Von-Neumann-Architektur ist der Overhead der Datenübertragung zwischen Prozessoren und Speicher. Die CPU muss für jede Operation, die sie ausführt, Daten abrufen.

Diese Architektur ist in einer Offload-Beschleunigungsumgebung noch ineffizienter. Die Leistung solcher Systeme wird durch die Geschwindigkeit begrenzt, mit der Daten über den Speicher vom Host, der die Operationen anfordert, und auch von Rechenmaschinen, die die Operationen ausführen, ausgetauscht werden können.

Architekturen, die den Datenfluss aus dem Speicher reduzieren, werden untersucht, um den Engpass von Von Neumann zu mildern. Der Flaschenhals ist jedoch besonders gravierend, wenn es um speicherintensive Anwendungen der künstlichen Intelligenz geht. Der Betrieb von KI-bezogenen Anwendungen hängt von der schnellen und effizienten Bewegung riesiger Datenmengen im Speicher ab. Trainierte Datenbanken müssen in den Arbeitsspeicher und vektorisierte Eingabeabfragen geladen werden. Als nächstes müssen sie verarbeitet und geladen werden, damit die Vergleichsfunktionen funktionieren.

Eine bewährte Technologie, die sich bereits im Markt durchgesetzt hat, ist die Associative Processing Unit (APU). Das Schöne an der In-Memory-Beschleunigung ist, dass der Speicher selbst zum Prozessor wird. Dies ist kein riesiges Array von Prozessorkernen mit Cache-Speicher in der Nähe, sondern eher ein Speicherarray mit Recheneinheiten, die in die Read-Line-Architektur integriert sind.

Somit unterscheidet sich die APU dadurch, dass sie das Speicherarray besitzt, das in der Lage ist, die Rechenleistung zu beschleunigen. Es hat sich gezeigt, dass diese Art von „beschleunigtem“ Prozessor die Leistung um Größenordnungen beschleunigt und gleichzeitig den Stromverbrauch von Standardservern reduziert.

Die Konvergenz von Elasticsearch, k-NN und APU-Beschleunigung sorgt für weniger Latenz und mehr Abfragen pro Sekunde. Es ermöglicht auch die Unterstützung einer milliardenschweren Datenbanksuche bei geringerer Leistung als bei herkömmlichen reinen CPU- oder GPU-beschleunigten Systemen. Im eingebetteten Bereich kann Elasticsearch eine Möglichkeit bieten, eine lokale Suche auf einem Edge-Gerät durchzuführen und gleichzeitig eine HTTP-Anfrage für eine tiefere Suche im Netzwerk zu senden. Unterschiedliche Ergebnisse können entweder zu einer immer schärferen Antwort zusammengefügt oder nur neue Ausnahmen aufgenommen werden.

Ein Extrem-Edge-Gerät könnte seine CPU-Ressourcen verwenden, um eine Suche in einer lokal relevanten Datenbank nach Geschwindigkeit durchzuführen. Dann ermöglicht die Verwendung des APU-Dichtemultiplikators, dass die Elasticsearch-Netzwerkanfragen effizient auf einem Edge-Server oder Aggregator ausgeführt werden, anstatt in die Cloud gesendet zu werden. Ziehen Sie Roboter in Betracht, die autonome Entscheidungen treffen können, aber dennoch Backup-Validierungen oder Kurskorrekturen von einer vorgelagerten tieferen Suche erhalten. Ziehen Sie automatisierte Fahrzeuge in Betracht, die basierend auf einem Regelwerk und lokalen Bedingungen sofortige Entscheidungen treffen, während sie Informationen über Autobahnschilder senden und Informationen zu stromaufwärts gelegenen Straßen und Fahranweisungen zurückgeben.

In Zukunft wird es spannend sein zu sehen, welche neuen Möglichkeiten diese Konvergenz eröffnen wird.