KI-Chip geht über Cloud-Dienst online

Das Tensor-Streaming-Prozessor-(TSP-)Silizium von Groq ist jetzt verfügbar, um die KI-Workloads der Kunden in der Cloud zu beschleunigen. Der Cloud-Dienstleister Nimbix bietet jetzt die Beschleunigung des maschinellen Lernens auf Groq-Hardware als On-Demand-Dienst nur für „ausgewählte Kunden“ an.

Während es mehrere Start-ups gibt, die KI-Silizium für das Rechenzentrum bauen, ist Groq jetzt neben Graphcore die einzigen beiden mit Beschleunigern, die für Kunden kommerziell verfügbar sind und als Teil eines Cloud-Dienstes verwendet werden können. Graphcore hat bereits angekündigt, dass seine Beschleuniger als Teil von Microsoft Azure verfügbar sind.

„Die vereinfachte Verarbeitungsarchitektur von Groq ist einzigartig und bietet eine beispiellose, deterministische Leistung für rechenintensive Workloads und ist eine spannende Ergänzung unserer Cloud-basierten KI- und Deep-Learning-Plattform“, sagte Steve Hebert, CEO von Nimbix.

Groq ist erst das zweite KI-Beschleuniger-Startup, das seine Hardware in der Cloud verfügbar macht (Bild:Groq)

Der TSP-Chip von Groq, der im letzten Herbst auf den Markt kam, ist in der Lage, enorme 1.000 TOPS (1 Peta-Operationen pro Sekunde) zu leisten. Jüngste vom Unternehmen veröffentlichte Ergebnisse zeigen, dass der Chip 21.700 Inferenzen pro Sekunde für ResNet-50 v2-Inferenz erreichen kann, was laut Groq die Leistung heutiger GPU-basierter Systeme mehr als verdoppelt. Diese Ergebnisse deuten darauf hin, dass die Architektur von Groq einer der schnellsten, wenn nicht sogar der schnellste kommerziell erhältliche neuronale Netzwerkprozessor ist.

„Diese ResNet-50-Ergebnisse sind eine Bestätigung dafür, dass die einzigartige Architektur und der Ansatz von Groq zur Beschleunigung des maschinellen Lernens eine wesentlich schnellere Inferenzleistung als unsere Konkurrenten liefern“, sagte Jonathan Ross, Mitbegründer und CEO von Groq. „Diese realen Beweispunkte, die auf branchenüblichen Benchmarks und nicht auf Simulationen oder Hardware-Emulation basieren, bestätigen die messbaren Leistungssteigerungen für Anwendungen des maschinellen Lernens und der künstlichen Intelligenz, die durch die Technologien von Groq ermöglicht werden.“

Groq sagt, dass seine Architektur die für Deep Learning-Beschleunigung erforderliche massive Parallelität ohne den Synchronisationsaufwand herkömmlicher CPU- und GPU-Architekturen erreichen kann. Als Teil des softwaregesteuerten Ansatzes von Groq wurden Steuerungsfunktionen aus dem Silizium entfernt und stattdessen dem Compiler übergeben. Dies führt zu einer vollständig vorhersehbaren, deterministischen Operation, die vom Compiler orchestriert wird, sodass die Leistung zum Zeitpunkt der Kompilierung vollständig verstanden werden kann.

Ein weiteres wichtiges Merkmal ist, dass der Leistungsvorteil von Groq nicht auf Batching beruht – eine gängige Technik im Rechenzentrum, in der mehrere Datenproben gleichzeitig verarbeitet werden, um den Durchsatz zu verbessern. Laut Groq kann seine Architektur sogar bei Batch =1 Spitzenleistung erreichen, eine häufige Anforderung für Inferenzanwendungen, die möglicherweise an einem in Echtzeit ankommenden Datenstrom arbeiten. Während der TSP-Chip von Groq bei großen Losgrößen einen moderaten Latenzvorteil von 2,5x gegenüber GPUs bietet, liegt der Vorteil bei Batch =1 näher am 17-fachen, so das Unternehmen.