Memory-Technologien für Edge AI: Herausforderungen und Chancen

Edge AI verändert, wie wir über Memory denken. Da KI-Workloads von der Cloud zu Geräten näher am Nutzer migrieren, müssen Memory-Systeme große Kapazität, hohe Bandbreite, niedrige Latenz und Energieeffizienz liefern, während sie kosteneffektiv und zuverlässig bleiben.

Es gibt keine einzelne „Edge AI“-Spezifikation. Der Begriff deckt breit jede KI-fähige Elektronik außerhalb einer zentralen Cloud ab – von Enterprise-Rechenzentren bis zu autonomen Fahrzeugen, Smart-City-Infrastruktur und IoT-Endpunkten.

Typische Edge-Szenarien umfassen Computer Vision für selbstfahrende Autos, KI-Inferenz in Fertigungstore zur Erkennung von Produktfehlern, 5G-Edge-Boxen an Strommasten zur Verkehrsüberwachung und Mobiltelefone, die Snapchat-Filter oder Sprachassistenten anwenden.

Memories Rolle ist einheitlich across diesen Anwendungen: Speicherung von Neural-Network-Gewichten, Modellcode, Eingabedaten und intermediären Aktivierungen. Die Herausforderung liegt im Ausbalancieren von Kapazität, Bandbreite, Leistung und Kosten bei gleichzeitiger Erfüllung der einzigartigen Constraints jedes Deployments.

Edge-Rechenzentren

Edge-Rechenzentren bedienen latenzkritische Domänen wie medizinische Bildgebung, High-Frequency-Finance und autonomes Fahrzeugsteuerung. Diese Standorte nutzen die gleichen Memory-Familien wie traditionelle Server – High-Performance DRAM, großkapazitive RDIMMs und nicht-flüchtige Optionen wie NVDIMMs.

„Low-Latency DRAM ist essenziell für Training und Entwicklung von KI-Modellen“, bemerkt Pekon Gupta, Solutions Architect bei Smart Modular Technologies. „Große Datensets verlangen hochkapazitive RDIMMs oder LRDIMMs, während NVDIMMs schreibintensive Workloads wie Caching und Checkpointing beschleunigen.“

Pekon Gupta

Telekommunikationsanbieter gehen einen ähnlichen Weg und fügen Memory und Compute zu Edge-Servern hinzu. Gupta hebt Intel Optane – 3D-XPoint nicht-flüchtiges Memory, das DRAM und Flash überbrückt – als überzeugende Wahl für KI-Workloads hervor, die von persistenter, hochkapazitiver Memory profitieren.

„Optane DIMMs und NVDIMMs dienen unterschiedlichen Zwecken: Optane glänzt bei In-Memory-Datenbanken und großen, persistenten KI-Datensets, während NVDIMMs niedrig-latente Tiering- und Caching-Funktionen bieten“, erklärt Gupta.

Intels Kristie Mann berichtet, dass Optane bereits E-Commerce-Empfehlungsmaschinen, Video-Personalisierung und Echtzeit-Finanzanalysen antreibt. Ein Server mit dualen Intel Xeon Scalable Prozessoren und Optane Persistent Memory kann bis zu 6 TB nutzbaren Speicher hosten und bietet eine kosteneffektive Alternative zu All-DRAM-Konfigurationen.

Intels Kristie Mann

Ein Intel Optane 200 Series Modul. Intel sagt, Optane wird bereits genutzt, um KI-Anwendungen anzutreiben. (Quelle: Intel)

GPU-Beschleunigung

Für High-Performance-Edge-Rechenzentren treiben GPUs KI-Compute an. Memory-Wahlen hier umfassen GDDR, designed für High-Bandwidth-GPUs, und HBM (High-Bandwidth Memory), eine Die-Stacked-Lösung, die mehrere Memory-Dies direkt auf dem GPU-Package platziert.

HBM2E liefert bis zu 3,6 Gbps pro Lane, was 460 GB/s Bandbreite pro Stack bedeutet – zwei Stacks können sich 1 TB/s nähern. Diese Leistung, kombiniert mit niedrigem Stromverbrauch, macht HBM zur Memory-Wahl für Nvidias Data-Center-GPUs.

GDDR6 hingegen bietet 18 Gbps pro Lane und 72 GB/s Bandbreite. Vier GDDR6-Chips ergeben fast 300 GB/s, einen Sweet Spot für Edge-Inferenz-Workloads. Frank Ferro, Senior Director of Product Marketing für IP Cores bei Rambus, merkt an, dass LPDDR, obwohl kosteneffektiv für Endpoint-Inferenz, die Bandbreitenanforderungen moderner KI-Modelle nicht erfüllen kann, was Designer zu GDDR6 drängt.

Frank Ferro von Rambus

Andere Beschleuniger – wie der Achronix Speedster7t FPGA – nutzen ebenfalls GDDR-Bandbreite, was beweist, dass sowohl HBM als auch GDDR Rollen in Edge AI haben.

Der Far Edge

Am fernsten Edge – Mobiltelefone, Wearables und Sensorknoten – ist KI vorwiegend Inferenz. Geräte wie Syntiants Voice-Control-Chips und Gyrfalcons Kamera-Effekt-Beschleuniger nutzen analoge Compute-Techniken und betten Matrixmultiplikation direkt in Memory-Zellen ein.

Mythics Flaggschiff-IP nutzt Flash-Memory-Transistoren als variable Widerstände, um 8-Bit Multiply-Accumulate-Operationen durchzuführen und erreicht bemerkenswerte Dichte und Energieeffizienz. Ihre Rauschunterdrückungs-Kalibrierung ermöglicht zuverlässige 8-Bit-Inferenz trotz analoger Variabilität.

Mythic nutzt ein Array von Flash-Memory-Transistoren für dichte Multiply-Accumulate-Engines (Quelle: Mythic)

ASICs, maßgeschneidert für ultra-niedrigenergetische Inferenz, kombinieren verteiltes SRAM, Bulk-SRAM und Off-Chip-DRAM. Geoff Tate von Flex Logix erklärt, dass der InferX X1 7,5 TOPS bei 933 MHz mit einem einzelnen x32 LPDDR4 DRAM und 10 MB SRAM erreicht und ein Gleichgewicht zwischen Geschwindigkeit, Fläche und Kosten schafft.

Da sich Memory-Ökonomik weiterentwickelt, wird LPDDR wahrscheinlich die dominierende Wahl für Edge-Inferenz bleiben aufgrund seiner Bandbreite, Einfachheit und minimalen Silizium-Footprint.

Emerging Memories

Jenseits etablierter Technologien bieten mehrere nicht-flüchtige Memories neuartige Fähigkeiten für KI.

MRAM (Magneto-Resistive RAM) speichert Bits durch Magnetorientierung, was niedrigspannungsbetrieb mit kontrolliertem stochastischem Verhalten ermöglicht. Diese Zufälligkeit kann für binarisierte neuronale Netze (BNNs) ausgenutzt werden, die hohe Bitfehlerraten tolerieren, während sie Genauigkeit bewahren. Andy Walker von Spin Memory merkt an, dass MRAM den Stromverbrauch drastisch reduzieren kann, während die Leistung für Edge-KI-Aufgaben erhalten bleibt, die keine extreme Präzision verlangen.

Andy Walker von Spin Memory

MRAMs Nicht-Flüchtigkeit öffnet auch die Tür zu vereinheitlichten Memory-Architekturen, die sowohl embedded Flash als auch SRAM ersetzen, was Die-Fläche und statische Leistung reduziert.

Neuromorphes ReRAM

Resistive RAM (ReRAM) führt synaptische Plastizität ein und ermöglicht neuromorphe Systeme, die in situ lernen. Die Zusammenarbeit von Politecnico Milano mit Weebit Nano demonstrierte ReRAMs Potenzial für unüberwachtes Lernen, was Edge-Geräten erlaubt, sich an verändernde Umgebungen anzupassen, ohne von Grund auf neu trainiert zu werden.

Zusammenfassend entwickelt sich Memory-Technologie rasant, um den Anforderungen von Edge AI gerecht zu werden. Etablierte Memories – GDDR, HBM, Optane – dominieren weiterhin Data-Center-Edge, während LPDDR und On-Chip-SRAM am Far Edge herrschen. Emerging nicht-flüchtige Memories wie MRAM und ReRAM sind bereit, beispiellose Energieeffizienz und adaptive Fähigkeiten zu liefern und die nächste Generation KI-fähiger Geräte zu formen.

— Dieser Artikel wurde ursprünglich auf unserer Schwesterseite EE Times veröffentlicht.