Kubernetes befähigt KI-Start-ups mit skalierbaren, containerisierten Lösungen

Carmine Rimi, AI Product Manager bei Canonical (dem Team hinter Ubuntu), teilt Einblicke in die Schnittmenge von KI und Kubernetes.

Eine Stanford-Universitätsstudie berichtet von einem 14-fachen Anstieg KI-Start-ups seit 2000, während UK-basierte KI-Entwickler allein letztes Jahr einen 200-prozentigen Anstieg bei Venture-Capital-Finanzierung verzeichneten. Diese Zahlen unterstreichen die wachsende Nachfrage nach zuverlässiger, skalierbarer KI-Infrastruktur.

KI-Anwendungen zu bauen ist inhärent komplex. Entwickler müssen Feature Extraction, Datenerfassungsverifikation, statistische Analyse und Ressourcenorchestrierung jonglieren, bevor sie auch nur eine Zeile ML-Code schreiben. Kontinuierliche Wartung ist nötig, um Modelle aktuell und sicher zu halten.

Containerisierung nutzen

Darauf reagiert die Industrie mit Kubernetes – einer freien, open-source Plattform, die Deployment und Management containerisierter Workloads automatisiert, einschließlich KI- und Machine-Learning-Pipelines. Durch Abstraktion von Infrastrukturdetails ermöglicht Kubernetes Teams, sich auf Modellentwicklung statt operativen Overhead zu fokussieren.

Forrester stellte kürzlich fest, dass „Kubernetes den Krieg um Container-Orchestrierungs-Dominanz gewonnen hat und im Zentrum Ihrer Microservices-Pläne stehen sollte.“ Container bieten leichte, portable Umgebungen, die einfach über On-Premise- oder Cloud-Ressourcen skalierbar sind und monolithische KI-Services in modulare, wartbare Microservices zerlegen.

Eine Cloud Native Computing Foundation-Umfrage zeigt, dass die meisten Entwickler Kubernetes bereits über mehrere Phasen des KI-Lebenszyklus hinweg nutzen – von Training bis Inferenz. Kubernetes glänzt beim Skalieren rechenintensiver Deep-Learning-Modelle und beim Verwalten großer Datensätze auf Commodity-Servern.

Jenseits von Training unterstützt Kubernetes verteiltes Inferencing über Edge-Geräte und zentrale Rechenzentren und vereinfacht Deployment-Szenarien, die sonst maßgeschneiderte, nicht-containerisierte Lösungen erfordern würden.

Fokusverschiebung

Da Unternehmen KI zur Kostensenkung, verbesserten Entscheidungsfindung und personalisierten Erlebnissen einsetzen, haben sich Kubernetes-basierte Container als bevorzugte Plattform etabliert. Im Dezember 2020 führte das Kubernetes-Projekt Kubeflow ein, ein Framework, das Machine-Learning-Workflows auf Kubernetes strafft.

Ursprünglich für zustandslose Services konzipiert, unterstützt Kubernetes nun komplexe, zustandsbehaftete KI-Workloads dank seiner reichen APIs, Zuverlässigkeit und Performance. 2017 unterstützte nur Googles GKE die Plattform; heute bieten alle großen Clouds – Microsoft Azure AKS, Amazon EKS und andere – verwaltete Kubernetes-Services an.

Die rasche Adoption von Kubernetes durch Unternehmen und Cloud-Provider demonstriert dessen Effektivität bei der Bereitstellung von Wiederholbarkeit, Fehlertoleranz und Skalierbarkeit für KI-Anwendungen. Kubernetes ist zum De-facto-Standard für das Management containerisierter KI-Workloads geworden, und seine Vorteile werden wachsen, je weiter die KI-Adoption fortschreitet.

Autor ist Carmine Rimi, AI Product Manager bei Canonical.