Qualcomm stellt Cloud AI 100 vor: Energieeffizienter Edge AI Beschleuniger für 5G und darüber hinaus

Fast 18 Monate nach der ersten Ankündigung im April 2019 hat Qualcomm nun bestätigt, dass der Cloud AI 100 Silicium in Produktion ist und in der ersten Hälfte 2021 ausgeliefert wird. Das Unternehmen offenbarte auch die Kartenformfaktoren und Performance-Benchmarks, die seine Bereitschaft für Edge-AI-Workloads unterstreichen.

Während Qualcomm lange den Smartphone-Markt mit seiner Snapdragon-Linie dominierte, wurde die frühere Server-Grade-Centriq-Linie 2018 eingestellt. Der Cloud AI 100 markiert Qualcomms strategischen Eintritt in den Near-Edge-Server-Markt und liefert hohen Durchsatz bei KI-Inferenz mit außergewöhnlicher Energieeffizienz.

Qualcomms Cloud AI 100 ist für Near-Edge-KI-Workloads wie 5G-Infrastruktur und Enterprise-Rechenzentren konzipiert.

Formfaktoren und Performance

Qualcomm wird den Cloud AI 100 zunächst in drei Kartenformaten anbieten:

• Dual M.2 Edge (DM.2e) – über 50 TOPS bei 15 W
• Dual M.2 (DM.2) – 200 TOPS bei 25 W
• PCIe – bis zu 400 TOPS bei 75 W

Diese Zahlen stellen die theoretischen „rohen“ TOPS dar und berücksichtigen keinen Real-World-Application-Overhead. Dennoch zeigen Qualcomms eigene Performance-Kurven, dass die PCIe-Version viele führende Lösungen übertrifft, während sie nur einen Bruchteil der Leistung verbraucht.

ResNet-50 Inferenz-Durchsatz versus Stromverbrauch. Qualcomms Karten führen in Energieeffizienz, mit Batch-Size 8 (außer Nvidia A100).

John Kehrli, Qualcomms Senior Director of Product Management, bemerkte: „Wir bringen über ein Jahrzehnt KI-F&E von unseren mobilen Plattformen in diesen neuen Kern. Während die Architektur von Snapdragon abweicht, sind die Expertise und Performance-per-Watt evident.“

Chip-Architektur

Der Cloud AI 100 ist ein Inferenzbeschleuniger, gebaut auf einem 7 nm FinFET-Prozess. Er beherbergt bis zu 16 KI-Kerne, die INT8, INT16, FP16 und FP32 Precision unterstützen. Der Die enthält 144 MB On-Chip SRAM (128 MB shared, 1 MB pro Kern) und interfaces mit bis zu 32 GB LPDDR4x DRAM (4×64 LPDDR4x bei 2,1 GHz), was hohe Memory-Bandbreite für KI-Workloads liefert.

Zielanwendungen

Der Beschleuniger ist für eine breite Palette von Edge-Anwendungsfällen maßgeschneidert, einschließlich Computer Vision, Spracherkennung, autonomes Fahren, Sprachübersetzung und Empfehlungsmaschinen. Qualcomm positioniert den Cloud AI 100 für vier primäre Märkte:

• Rechenzentren am Edge der Cloud
• Advanced Driver Assistance Systems (ADAS)
• 5G Edge Boxen (On-Premise, Standalone-Geräte für Smart City und Enterprise)
• 5G-Infrastruktur (KI-gestütztes Beamforming und Basisstationsoptimierung)

Im autonomen Fahren treibt ein Derivat des Cloud AI 100 Qualcomms Snapdragon Ride Plattform an, nutzt dieselbe Architektur und Software-Stack.

Reference Design & Development Kit

Qualcomm stellte ein neues Development Kit mit Reference Design für eine 5G Edge Box vor, angetrieben vom Cloud AI 100. Das Kit paart den Beschleuniger mit einem Snapdragon 865 Host-Prozessor und bietet volle Video-Pipelines, die bis zu 24 Streams Full-HD-Video-Dekodierung unterstützen. Es beinhaltet auch ein vorzertifiziertes Snapdragon X55 5G Modem.

Kehrli betonte: „Dieses Kit ermöglicht Kunden, Demo-Anwendungen sofort zu starten. Es kommt vorkompiliert mit ResNet-50 und bietet einen schnellen Start für Edge-KI-Lösungen.“

Deployment-Zeitplan

Qualcomm erwartet, dass initiale kommerzielle Deployments auf Edge-Szenarien fokussieren – Smart Cities, Retail-Analytics und Fertigung – aufgrund kürzerer Zertifizierungszyklen. Sampling des Cloud AI 100 läuft bereits mit ausgewählten Kunden, und das Development Kit wird nächsten Monat für ein begrenztes Publikum gesampelt.

Hinweis: Dieser Artikel wurde ursprünglich auf EE Times veröffentlicht.