Neoclouds erklärt: Warum KI GPU-fokussiertes Cloud Computing braucht

KI-Workloads werden quer durch praktisch jede Industrie Mainstream. Aber während die Nachfrage nach KI wächst, wächst auch die Belastung der Infrastruktur. Leider fallen traditionelle Optionen für den Zugang zu High-Performance-Compute kurz, was Unternehmen dazu bringt, Alternativen zu suchen. Einige wenden sich Neoclouds zu, einem neuen Typ Compute Service Provider, der auf GPU-zentrische Angebote fokussiert ist.

Diese neuen Provider gewinnen Interesse aufgrund eines Shifts im Computing; einem, der durch eine wachsende Abhängigkeit von GPUs für KI charakterisiert ist. Während GPUs gut geeignet sind, die parallelen Verarbeitungsbedürfnisse von KI-Training und Inferenz zu handhaben, sind sie notorisch teuer und knapp. Ein High-End GPU kann Zehntausende Dollar kosten, und das nur, wenn ein Unternehmen eine finden kann. Procurement Cycles sind lang, Lead Times unvorhersehbar, und Enterprise IT Teams kämpfen häufig, ausreichende Kapazität zu erwerben, um Demand zu treffen.

Hyperscale Cloud Provider wie AWS, Google Cloud und Azure haben versucht, die Lücke zu füllen, indem sie GPU Instanzen und GPUs as a Service anboten. Für viele Organisationen funktioniert dieses Modell, aber nur bis zu einem Punkt.

Cloud-basierte GPU Instanzen bieten Flexibilität, Skalierbarkeit und schnelles Deployment. Aber während Usage wächst, wächst auch die Rechnung. Das Pay-as-you-go Modell wird schnell kostenträchtig im Scale, besonders für sustained Workloads wie Large Language Model (LLM) Training, Fine-Tuning oder Real-Time Inferenz über Enterprise Applikationen hinweg.

Als Ergebnis finden sich viele Organisationen zwischen einem Fels (knapper und teurer On-Premises Infrastruktur) und einem harten Ort (hohen Public Cloud GPU Kosten) wieder.

Neoclouds betreten die Bühne

In dieser Umgebung entsteht eine neue Kategorie von Compute Provider: der Neocloud Provider. Neocloud Infrastructure Provider bieten High-Performance Compute, stark zentriert auf GPUs, zu erschwinglicheren Raten (zumindest laut ihnen). Sie erreichen dies durch Nutzung unkonventioneller Ursprünge, neuer ökonomischer Modelle und anderer Infrastrukturstrategien.

Zum Beispiel führen einige Neoclouds ihre Wurzeln zurück auf Cryptocurrency Mining. Während des Krypto-Booms des letzten Jahrzehnts bauten tausende Miner weltweit Rechenzentren, ausgestattet mit GPU Servern, optimiert für Mining Operations. Als der Kryptomarkt abkühlte und Mining weniger profitabel wurde, fanden sich diese Operatoren mit großen Mengen an idler GPU Kapazität wieder. Anstatt diese Hardware in einem Warehouse abwerten zu lassen, repurposeten einige ihre Equipment für KI-Workloads, und so wurde der Neocloud geboren.

Andere im Space sind Purpose-Built Startups, die eine Gelegenheit sahen, eine kosteneffektivere Alternative zu den Hyperscalern anzubieten, indem sie für Price-Performance optimierten und den Overhead von Legacy Cloud Operations umgingen. Einige bauen auf Open-Source Software Stacks und kolokieren in Low-Cost Rechenzentren; andere aggregieren überschüssige GPU Kapazität über dezentrale Netzwerke, forming eine Art „GPU Spot Market“, den Enterprises zu niedrigeren Kosten anzapfen können.

Vorteile des Neoclouds Modells

Für Businesses, die KI Compute Power ohne exorbitante Kosten suchen, behaupten Neocloud Provider, sie können mehrere Vorteile liefern, einschließlich:

Niedrigere Kosten pro GPU Stunde: Neoclouds verlangen oft einen Bruchteil dessen, was Hyperscalers für vergleichbare GPU Instanzen verlangen. Sie behaupten, dass ihre lean Operating Models und Hardware Reuse Strategien zu echten Einsparungen übersetzen.

Dedizierter Zugang: In vielen Fällen bieten Neocloud Provider dedizierten Bare Metal Zugang zu GPUs, was Contention reduziert und vorhersehbare Performance sicherstellt.

Schnelle Verfügbarkeit: Mit flexiblen Procurement und Provisioning Prozessen behaupten Neocloud Provider, sie können Kapazität oft viel schneller liefern als traditionelle Vendors, was Teams hilft, KI-Modelle ohne Verzögerung zu iterieren und zu deployen.

Dezentralisierung und Resilienz: Einige Neoclouds operieren auf verteilten Modellen, sourcing Compute von geografisch diversen Rechenzentren oder Netzwerken unabhängiger Operatoren.

Nachhaltigkeit: Repurposing bestehender Hardware, besonders aus der Kryptoindustrie, reduziert E-Waste und fördert nachhaltigere IT Practices. Einige Neo Clouds kolokieren auch in Facilities, powered by Renewable Energy, was den Carbon Footprint weiter senkt.

Siehe auch: GPU Market Shift: Den Fall des Crypto Mining nutzen

GPUs-as-a-Service, neu gedacht

Im Kern repräsentieren Neoclouds einen frischen Take auf das GPU-as-a-Service Modell. Unternehmen, die als Neocloud Provider betrachtet werden, umfassen CoreWeave, Crusoe, Lambda Labs, Nebius, Vast.ai und andere.

Sie sind weniger fokussiert auf das Bundlen von GPUs mit proprietären Services und mehr daran interessiert, rohes, High-Performance Compute zu einem Price Point zu liefern, das Large-Scale KI für mehr Businesses viable macht.

Indem sie Zugang zu erschwinglichen GPUs demokratisieren, glauben Neocloud Provider, sie können die Barriere zum Eintritt für Unternehmen senken, die KI-Applikationen bauen oder skalieren wollen. Kleine Startups können Custom Models trainieren, ohne ihr Seed Funding zu verbrennen. Enterprises können LLMs auf ihren proprietären Daten fine-tunen, ohne Kontrolle abzugeben oder zu overspenden. Und Research Institutions können Simulationen und Experimente laufen lassen, ohne durch Budget Constraints limitiert zu sein.

Trotz dieser Vorteile werden Neocloud Provider wahrscheinlich für die naheliegende Zukunft mit Hyperscalers im GPU-as-a-Service Marketplace konkurrieren. Dieser Markt wurde 2023 auf $3,23 Milliarden bewertet und wird projiziert, bis 2032 auf $49,84 Milliarden zu wachsen, was eine 36% Wachstumsrate darstellt, laut Fortune Business Insights. (Diese Schätzung umfasst sowohl Hyperscalers als auch Neoclouds.)

Abschließende Gedanken

Die Compute-Anforderungen für KI wachsen weiter. Neocloud Provider sind eine neue Generation von KI-fokussierten Cloud Infrastructure Providern, die darauf abzielen, diese Bedürfnisse zu treffen. Sie differenzieren sich von traditionellen Hyperscalern (wie AWS, Azure und GCP) durch Fokus auf optimierte GPU-Verfügbarkeit, flexible Pricing und spezialisierte Performance für KI/ML Workloads, unter anderen Key Features.