NVIDIA und VMware: GPU-Virtualisierung senkt KI-Kosten drastisch

Durch Erhöhung der GPU-Auslastungsraten sinken die Kosten für Aufbau und Bereitstellung von KI-Anwendungen erheblich.

Partnerschaft auf der VMworld 2019

Auf der VMworld 2019 kündigten NVIDIA und VMware an, gemeinsam die Bereitstellung von VMware Virtual Machines auf Grafikprozessoren (GPUs) zu ermöglichen.

Im Rahmen dieser Initiative gab NVIDIA bekannt, dass seine Virtual GPU (vGPU) Software nun auf Virtual Machines auf Servern bereitgestellt werden kann – zusätzlich zur bestehenden Unterstützung für Client-Systeme. NVIDIA Virtual Compute Server (vComputeServer) Software für GPUs wird um Support für VMware vSphere-Plattformen erweitert. NVIDIA verpflichtete sich zudem, seinen Hub für KI-Entwicklertools auf VMware-Plattformen verfügbar zu machen.

Siehe auch: Was sind die 3 Schlüsselkomponenten der KI-Bereitschaft?

Mit diesen NVIDIA-Technologien wird VMware einen Cloud-Service bereitstellen, der aus Amazon EC2 Bare-Metal-Instanzen besteht, beschleunigt durch NVIDIA T4 GPUs mit vComputeServer-Software auf VMware Cloud on AWS.

Gemeinsam haben diese Fortschritte nicht nur erhebliche Auswirkungen auf die Verbesserung der GPU-Auslastung, sie ermöglichen es Data Scientists auch, mehrere Workloads auf GPUs zu aggregieren, die auf VMware-Servern On-Premise oder in der Cloud laufen, sagt John Fanelli, Vice President Product für NVIDIA Grid.

Kostenbarriere bei KI überwinden

Während das Interesse am Einsatz von GPUs für KI-Anwendungen enorm war, waren die Aufbaukosten oft prohibitiv. Ohne Virtual Machine war jede GPU zuvor nur einem Workload zur Zeit gewidmet. Durch Erhöhung der GPU-Auslastungsraten sinken die Kosten für Aufbau und Bereitstellung von KI-Anwendungen erheblich, so Fanelli.

Das ist kritisch, da diese Kosten Organisationen davon abhielten, mehr in KI-Anwendungen zu investieren, die fast jeden Aspekt der menschlichen Existenz transformieren könnten.

„KI ist die mächtigste Technologie unserer Zeit“, sagt Fanelli.

Die Performance von KI-Workloads auf Virtual Machines variiert jedoch je nach individuellen Attributen, so Fanelli. Viele Entwickler können Performance-Einbußen kompensieren, indem sie das NVIDIA CUDA Toolkit nutzen, um KI-Workloads parallel auszuführen.

Da es erschwinglicher wird, KI-Anwendungen effizient aufzubauen und bereitzustellen, sollte die Anzahl der KI-Projekte in den kommenden Monaten steigen. Um diesen Prozess zu beschleunigen, gab VMware bekannt, dass Kunden Workloads von GPU-Instanzen in lokalen Rechenzentren in die Cloud migrieren können – mit VMware HCX Tools, die die Bewegung von Virtual Machines automatisieren und den Datentransfer zwischen Plattformen beschleunigen.

GPUs, die hauptsächlich in der Cloud genutzt werden, sind zur bevorzugten Plattform für das Training von KI-Modellen geworden, wegen der effizienten Speicher- und I/O-Verwaltung. NVIDIA hat mit gemischtem Erfolg argumentiert, auch auf GPUs für Inferenz-Engines zu setzen, statt auf x86-Server. Durch Hinzufügen von Server-VM-Support wird es deutlich machbarer, mehrere Inferenz-Engines auf derselben GPU-Plattform zu betreiben – ähnlich wie auf x86-Plattformen.

Zugang zu zusätzlichen Infrastrukturressourcen garantiert nicht zwingend KI-Erfolg. Doch diese Ressourcen gehen einen langen Weg, um die Kosten für Fehlschläge im KI-Entwicklungsprozess zu reduzieren.