Qualcomm Preps Edge-KI-Angebot

Fast 18 Monate nach der ersten Ankündigung des Cloud AI 100 AI Accelerator hat Qualcomm einige weitere Details zu den Lösungsformfaktoren veröffentlicht, in denen dieser Chip verfügbar sein wird, sowie einige Leistungsdaten für diese Karten. Der mobile Siliziumriese gab bekannt, dass das endgültige Silizium von Cloud AI 100 in Produktion ist und in der ersten Hälfte des Jahres 2021 ausgeliefert wird.

Die Cloud AI 100 wurde im April 2019 vor fast 18 Monaten auf den Markt gebracht. Während Qualcomm mit seiner Snapdragon-Reihe den Markt für Smartphone-Prozessoren dominiert, waren die Angebote von Qualcomm für Server zuvor nicht gewachsen – seine Arm-basierte Centriq-Reihe wurde 2018 nur ein Jahr später abgezogen starten. Der Mobilfunkhersteller sieht in der Cloud AI 100 daher einen Weg in den Edge-Server-Markt.

Die Cloud AI 100 von Qualcomm ist auf Near-Edge-Anwendungen ausgerichtet, darunter Unternehmensrechenzentren und 5G-Infrastruktur (Bild:Qualcomm)

Formfaktoren

Während viele Details des Cloud AI 100-Chips noch unter Verschluss sind, wissen wir jetzt, dass er zunächst auf drei Kartentypen erhältlich sein wird. Dies sind ein Dual M.2 Edge (DM.2e) Formfaktor, der mehr als 50 TOPS bei 15 Watt bietet, eine Dual M.2 (DM.2) Karte die für 200 TOPS bei 25 Watt konfiguriert ist und eine PCIe Karte die in etwa 400 TOPS bei 75 Watt kommt. (Qualcomm stellte fest, dass dies „rohe“ TOPS-Zahlen sind, das theoretische Maximum, und nicht die Berechnung darstellen, die in einer realen Anwendung erreicht werden könnte).

Qualcomm scheint seine Fähigkeiten im Design von Low-Power-Prozessoren aus dem mobilen Bereich auf den Edge-KI-Beschleunigermarkt übertragen zu haben. Das Design der Cloud AI 100 basiert zwar nicht auf den KI-Beschleunigungsblöcken von Snapdragon-Prozessoren, aber die Leistung pro Watt scheint beeindruckend. Die von Qualcomm während seines Medienbriefings gezeigten Folien enthielten eine Grafik, in der die PCIe-Kartenversion der Cloud AI 100 viele der beliebtesten Lösungen der Branche übertraf und dabei nur einen Bruchteil der Leistung verbrauchte. Laut Qualcomm sind dies gemessene Leistungszahlen im Vergleich zu öffentlich bekannt gegebenen Zahlen anderer Anbieter.

Klicken für größeres Bild

Resnet-50 KI-Inferenzen pro Sekunde für beliebte KI-Inferenzhardware im Vergleich zum Stromverbrauch, so die Zahlen von Qualcomm. Die Karten von Qualcomm scheinen besonders gut abzuschneiden, wenn es um die Energieeffizienz geht. Die Batchgröße beträgt 8 für alle Punkte in der Grafik außer Nvidia A100. (Bild:Qualcomm)

„Bei Qualcomm haben wir eine lange Tradition in der KI-Forschung und -Entwicklung“, sagte John Kehrli, Senior Director of Product Management bei Qualcomm. „Wir sind tatsächlich in unserer Lösung der fünften Generation von der mobilen Seite aus, wir haben über 11 Jahre sehr aktiver Forschung und Entwicklung. Wir nutzen dieses Wissen, diese Branchenexpertise, aber dies ist ein anderer KI-Kern, es ist nicht dasselbe wie bei Mobilgeräten, aber wir nutzen diesen Bereich.“

Der Cloud AI 100 ist ein Inferenzbeschleuniger mit bis zu 16 KI-Prozessorkernen, die INT8, INT16, FP16 und FP32 unterstützen. Es basiert auf einer 7-nm-FinFET-Prozesstechnologie. Es gibt bis zu 144 MB On-Die-SRAM – 128 MB werden von den Kernen geteilt, wobei jeder Kern zusätzlich 1 MB hat. Die Karte unterstützt bis zu 32 GB DRAM auf Kartenebene mit einer Speicherbandbreite von 4x 64 LPDDR4x mit bis zu 2,1 GHz.

Edge-Anwendungen

Die Cloud AI 100 kann für Computer Vision, Sprache, autonomes Fahren, Sprachübersetzung und Empfehlungssysteme verwendet werden. Heute positioniert Qualcomm sein Cloud AI 100-Silizium für KI-Inferenz in vier Schlüsselmärkten. Sie sind Rechenzentren außerhalb der Cloud, ADAS, 5G-Edge-Boxen und 5G-Infrastruktur.

KI-Inferenz in Rechenzentren am Rande der Cloud unterstützt alles von Empfehlungs-Engines, die zum Schalten von Anzeigen und Personalisierung von Newsfeeds verwendet werden, bis hin zu anwendungsspezifischer rechenintensiver KI-Berechnung.

Was Qualcomm als "5G-Edge-Boxen" bezeichnet, sind eher wie vor Ort eingebettete eigenständige Geräte. Diese können als Teil der Smart-City-Infrastruktur an Telegrafenmasten oder in Unternehmen eingesetzt und verwendet werden, um Smart-City-, öffentliche Sicherheits- und Verkehrsmanagementanwendungen voranzutreiben.

Ein Derivat von Cloud AI 100 wird verwendet, um die KI-Verarbeitung für autonomes Fahren in der Qualcomm Snapdragon Ride-Plattform zu betreiben (dieses Derivat teilt eine gemeinsame Architektur und Software-Toolkette, sagte Kehrli).

Die Anwendung von Cloud AI 100 in der 5G-Infrastruktur besteht darin, komplexe Algorithmen wie Beamforming zu beschleunigen, die jetzt KI verwenden, um 5G-Basisstationen effizient zu verwalten.

Referenzdesign

Qualcomm kündigte außerdem sein neues Cloud AI 100-Entwicklungskit an. Dazu gehört ein Referenzdesign für eine 5G-Edge-Box mit Cloud AI 100 sowie eine Snapdragon 865-Anwendung und ein Videoprozessor als Host-Prozessor (der eine vollständige Videopipeline bietet, die bis zu 24 Streams der Full-HD-Videodecodierung unterstützt, mit Spielraum für den Kunden App-Entwicklung). Das Referenzdesign verwendet außerdem ein vorzertifiziertes 5G-Modul basierend auf einem Snapdragon X55 5G-Modem.

„Das ist wirklich eine Greenfield-Chance für uns, auf die wir uns sehr freuen“, sagte Kehrli. „Das Ziel [für das Entwicklungskit] besteht darin, dass Kunden, die an diesem Bereich interessiert sind, schnell und einfach eine Demo-App direkt nach dem Auspacken ausführen können – sie wird sogar mit einem vorkompilierten ResNet-50 als Demo geliefert.“

Eine solche 5G-Edge-Box könnte On-Premise-Analysen für Sicherheitsvideostreaming in einem Einkaufszentrum oder eine Sicherheitsanwendung in einer Produktionsstätte durchführen, sagte Kehrli.

Zeitplan

Die ersten Kunden, die die Cloud AI 100 einführen, werden höchstwahrscheinlich am Edge sein, in der Smart City, im Einzelhandel und in der Fertigung, sagte Kehrli.

„Ich gehe davon aus, dass unsere ersten kommerziellen Bereitstellungen eher auf der Edge-Seite als auf der Seite des Rechenzentrums stattfinden werden, wo es einen viel, viel längeren Zyklus gibt, um sie in die Produktion zu bringen“, sagte er. „Das heißt nicht, dass wir dort keine nennenswerte Zugkraft und Chancen haben, aber ich erwarte mehr, dass die Bereitstellung von 5G-Edge viel schneller sein wird und Dinge wie unser vorzertifiziertes 5G-Modul dies viel einfacher machen. Viele dieser Kunden, mit denen wir zusammenarbeiten, sind nicht Ihre traditionellen Mobilfunkkunden. Wenn sie ihnen eine bereits vorzertifizierte Lösung zur Verfügung stellen, können sie schnell auf den Markt kommen. [Bewerbungen] in diesem Bereich werden also schneller erscheinen.“

Das endgültige Silizium für die Qualcomm Cloud AI 100 ist in Produktion gegangen, wird jetzt an mehrere Kunden bemustert und wird in der ersten Hälfte des Jahres 2021 ausgeliefert. Das Edge-Entwicklungskit wird nächsten Monat bemustert, jedoch nur an ausgewählte Kunden.

>> Dieser Artikel wurde ursprünglich veröffentlicht am unsere Schwesterseite EE Times.