DGX Cloud Lepton: Nvidia bietet „Ridesharing-App“ für AI-Compute an

Nvidia will den Zugang zu AI-Rechenleistung in der Cloud vereinfachen und hat dafür mit DGX Cloud Lepton einen Marketplace geschaffen. Im Vorabgespräch zur Computex erklärte Nvidia, dass DGX Cloud Lepton so etwas wie eine „Ridesharing-App“ für AI-Compute sei, statt Fahrer und Gäste werden Entwickler und GPUs zusammengeführt.

Für DGX Cloud Lepton kommen die sogenannten Nvidia Cloud Partner (NCP) innerhalb des Nvidia Partner Network (NPN) zum Zug. Diese Cloud Partner unterscheiden sich von anderen, allgemeinen Cloud-Anbietern wie AWS, Azure oder Google Cloud durch die Fokussierung auf das Nvidia-Ökosystem und den expliziten Einsatz einer Referenz-Architektur mit Nvidia-GPUs wie Blackwell oder Hopper, Netzwerk-Technologien von Nvidia und die Nutzung der Nvidia AI Enterprise Software. Sofern das eigene Projekt auf dieses Ökosystem ausgelegt ist, kann sich dadurch eine höhere Leistung ergeben. NCPs haben außerdem direkten Zugang zu Diensten wie den NIMs (Inference-Microservices), Nvidia NeMo oder auch „Bare Metal“-Zugang ohne die Virtualisierung der Hyperscaler.

Eine übergreifende Zugriffsplattform

Als übergreifende Zugriffsplattform und als AI-Marketplace hat Nvidia dafür jetzt DGX Cloud Lepton vorgesehen, damit Entwickler sich nicht länger an die einzelne Anbieter wenden respektive diese erst einmal auswählen müssen, sondern über eine Plattform Zugriff auf die global verteilten Nvidia Cloud Partner erhalten. Mit dabei sind zum Start CoreWeave, Crusoe, Firmus, Foxconn, GMI Cloud, Lambda, Nebius, Nscale, Softbank und Yotta Data Services, die Blackwell und weitere GPU-Architekturen von Nvidia auf dem Marketplace anbieten wollen. Das Netzwerk soll laut Nvidia künftig auch um Cloud Service Provider (CSP) und um andere GPU-Marktplätze erweitert werden.

AI-Fabriken in planetarem Maßstab

AI-Entwickler können über die Benutzeroberfläche GPU-Leistung in spezifischer Kapazität und in spezifischer Region mit wenigen Klicks abrufen, laut Nvidia sowohl für kurzzeitige Anfragen als auch für langfristige Projekte. „NVIDIA DGX Cloud Lepton connects our network of global GPU cloud providers with AI developers“, sagte Nvidia-CEO Jensen Huang. Der mit Superlativen nicht sparsam umgehende Chef sprach von AI-Fabriken in planetarem Maßstab, die man mit DGX Cloud Lepton anbieten könne.

Plattform auch für Diagnostik

Für die Cloud-Anbieter kann DGX Cloud Lepton als Management-Software agieren, um in Echtzeit den Zustand der GPUs zu diagnostizieren, Fehlerquellen zu finden und Downtime zu minimieren. Von Nvidia dafür speziell mit DGX Cloud Benchmarking evaluierte Infrastruktur läuft künftig unter der Bezeichnung Nvidia Exemplar Clouds. Die NCPs sollen zuerst diese neue Zertifizierung durchlaufen können, angefangen mit Yotta Data Services für die Asien-Pazifik-Region.