close notice

Coreweave, Google Cloud, Microsoft Azure und Oracle Cloud betreiben die ersten NVL72-Server aus Nvidias neuer Vera-Rubin-Generation. Mit NVL72 bezeichnet Nvidia vollständige Racks mit 72 Rubin-Beschleunigern und 36 Vera-Prozessoren inklusive Netzwerktechnik.

AMD und Nvidia liefern sich zurzeit einen Schlagabtausch bei der Inbetriebnahme neuer Hardware für KI-Rechenzentren. AMD hat kürzlich etwa ein Abkommen mit Microsoft Azure für den Einsatz sogenannter Helios-Server mit neuen Epyc-Venice-Prozessoren und Beschleunigern vom Typ Instinct MI455X angekündigt. Aktuell läuft zudem AMDs Veranstaltung Advancing AI; Firmenchefin Lisa Su hält dort am 23. Juli um 18:30 Uhr deutscher Zeit eine eigene Präsentation.

Mittendrin veröffentlicht Nvidia unter anderem erste Praxis-Benchmarks und tiefergehende Details der Vera-CPU sowie der Rubin-GPU. Zusammen mit Coreweave wirbt Nvidia prominent: Gemessen an dem Reasoning-Modell Deepseek R1 sollen sich die Tokens pro Sekunde mit dem Wechsel von der bisherigen Generation GB200 NVL72 (Grace Blackwell) zu Vera Rubin NVL72 verzehnfachen.

Bild 1 von 2

Vorteilhafte Darstellung

Viele Verbesserungen erhöhen die Effizienz, bei der Verzehnfachung stellen die zwei Partner das neue System allerdings in einem besonders günstigen Licht dar. Die GB200-Boards im Vergleich nutzen ältere Blackwell-GPUs mit weniger Speicher als die neuere GB300-Version (Blackwell Ultra). Ein kompletter NVL72-Server kommt auf 13,4 statt 20,7 TByte High-Bandwidth Memory (HBM3e). Zudem sind die 200er-GPUs in manchen Rechendisziplinen langsamer.

Gegebenenfalls fehlen beim GB200-NVL72-Benchmark auch jüngere Optimierungen. Coreweave nennt den entsprechenden Wert „2025 Basislinie“.

Verbesserungen auf allen Hardware-Ebenen

Tatsächliche Effizienzverbesserungen kommen von der überarbeiteten Architektur, modernerer Fertigungstechnik, noch mehr und schnellerem Speicher und einer besseren Integration aller Komponenten mit flotterer Anbindung. Nvidia lässt die Rubin-GPUs vom weltweit größten Chipauftragsfertiger TSMC mit 3-Nanometer-Technik herstellen. Blackwell nutzte einen verbesserten 5-nm-Prozess (4NP). Der Wechsel bringt bis zu 25 Prozent mehr Effizienz bei gleicher Leistung.

Nvidia verweist auf architektonische Verbesserungen, von denen vor allem Mixture-of-Experts-Modelle wie Deepseek R1 profitieren. Darunter ein optimierter „Tensor Memory Accelerator“ (TMA): Statt für jeden Experten einen eigenen Deskriptor im Speicher anzulegen, übernimmt Rubin einen Deskriptor für alle Experten, solange die Tensoren identische Layouts haben. Das reduziert den Aufwand für die Metadatenverwaltung und die Datenbewegungen, was die Tokenausgabe erhöht.

Eine verbesserte Koordination zwischen abhängigen Kernels soll Leerlaufzeiten innerhalb der GPUs reduzieren. Die Tensor-Kerne selbst sollen Matrizen effizienter abarbeiten.

Der Energiehunger steigt

Nvidia schweigt sich derweil zur elektrischen Leistungsaufnahme eines Vera-Rubin-NVL72-Servers aus. Sie wird auf mindestens 180 Kilowatt geschätzt; das deutsche IT-Systemhaus Nelpx gibt je nach Konfiguration 200 bis 360 kW an. NVL72-Server mit Grace Blackwell kommen auf bis zu 140 kW.

Die geschätzten Kosten für einen Server vom Typ Vera Rubin NVL72 sollen derweil bei rund 7,8 Millionen US-Dollar (etwa 6,8 Millionen Euro) liegen, fast doppelt so viel wie für ein Vorgängersystem. Insbesondere Speicher soll den Preis hochtreiben.

(mma)