Die NVIDIA H200 kurz erklärt: Die H200 ist ein KI-Beschleuniger auf Basis der Hopper-Architektur mit 141 GB HBM3e-Speicher und 4,8 TB/s Speicherbandbreite. NVIDIA hat sie am 13. November 2023 vorgestellt, Systeme und Cloud-Instanzen waren ab dem zweiten Quartal 2024 angekündigt. Die PCIe-Variante H200 NVL kostet im Handel ab rund 38.000 €. Ein Server mit acht GPUs liegt nach Marktangaben bei etwa 350.000 bis 500.000 US-Dollar.
Dieser Ratgeber zeigt, was die H200 technisch leistet, wie sie sich von H100 und H20 unterscheidet, was Kauf, Miete und Strom kosten und wie es um den Export nach China steht.
Das ist neu
Erste H200-Lieferungen nach China. Laut Financial Times haben ByteDance und Tencent je rund 10.000 Chips erhalten. Peking will, dass der Großteil der Hardware außerhalb des Festlands bleibt, vor allem in Hongkong (The Next Web).
Preise haben sich verschoben. Die alte Faustregel von 25.000 bis 40.000 US-Dollar pro Karte ist überholt. Ein 8-GPU-Server kostet heute 350.000 bis 500.000 US-Dollar, Cloud-Miete startet bei rund 2 bis 5 US-Dollar pro GPU-Stunde (Jarvislabs).
Nachfolger sind am Markt. Auf Hopper folgen Blackwell und Rubin. Die H200 ist längst nicht mehr NVIDIAs stärkster Chip.
NVIDIA H200 auf einen Blick
Merkmal | Wert |
Hersteller | NVIDIA |
Vorgestellt | 13. November 2023 |
Architektur | Hopper (GH100), dieselbe GPU wie bei der H100 |
Speicher | 141 GB HBM3e |
Speicherbandbreite | 4,8 TB/s |
Leistungsaufnahme (TDP) | bis 700 W (SXM), bis 600 W (NVL) |
Preis | NVL-Karte ab ca. 38.000 €, 8-GPU-Server ca. 350.000 bis 500.000 US-Dollar |
Miete | Cloud ab ca. 2 bis 5 US-Dollar pro GPU-Stunde, Hyperscaler deutlich mehr |
Was ist die NVIDIA H200?
Die H200 ist die Weiterentwicklung der H100. Sie nutzt denselben Hopper-Chip, aber schnelleren und deutlich größeren Speicher. Das ist der entscheidende Punkt: Große Sprachmodelle sind beim Betrieb oft durch die Speicherbandbreite begrenzt, nicht durch die reine Rechenleistung. NVIDIA gibt an, dass die H200 bei der Inferenz großer Sprachmodelle wie Llama 2 bis zu doppelt so schnell ist wie die H100 (NVIDIA). HGX-H200-Boards sind mit bestehenden HGX-H100-Systemen kompatibel, Betreiber können also auf vorhandener Infrastruktur aufrüsten.
Eingesetzt wird die H200 für Training und Inferenz großer Modelle, für Hochleistungsrechnen (HPC) und in Cloud-Rechenzentren.
Technische Daten: H200 SXM und H200 NVL
Die H200 gibt es in zwei Bauformen. Welche Sie meinen, entscheidet über Preis, Kühlung und Verfügbarkeit.
Merkmal | H200 SXM | H200 NVL (PCIe) |
Speicher | 141 GB HBM3e | 141 GB HBM3e |
Speicherbandbreite | 4,8 TB/s | 4,8 TB/s |
FP8 Tensor (mit Sparsity) | 3.958 TFLOPS | 3.341 TFLOPS |
Leistungsaufnahme (TDP) | bis 700 W | bis 600 W |
Bauform | Modul für HGX-Server | Doppelslot-PCIe-Karte, luftgekühlt |
NVLink | 900 GB/s | 900 GB/s pro GPU über Brücke |
Software | – | 5 Jahre NVIDIA AI Enterprise enthalten |
Die meisten Cloud-Anbieter setzen auf die SXM-Variante. Wer eine einzelne Karte für den eigenen Server sucht, kauft die NVL. Alle Werte stammen aus der NVIDIA-Produktseite, die sie als vorläufig kennzeichnet.
H100 vs. H200: Was ist besser?
Merkmal | H100 SXM | H200 SXM | Unterschied |
Speicher | 80 GB HBM3 | 141 GB HBM3e | rund 76 % mehr |
Bandbreite | 3,35 TB/s | 4,8 TB/s | rund 43 % mehr |
TDP | 700 W | 700 W | gleich |
Chip | Hopper (GH100) | Hopper (GH100) | gleich |
Die H200 lohnt sich vor allem, wenn Modelle nicht in den Speicher der H100 passen oder die Bandbreite bremst. Für kleinere Modelle bleibt die H100 oft die günstigere Wahl.
H20 vs. H200: Der China-Chip im Vergleich
Die H20 ist die für den chinesischen Markt abgespeckte Hopper-Variante.
Merkmal | H20 | H200 |
Speicher | 96 GB HBM3 | 141 GB HBM3e |
Bandbreite | 4,0 TB/s | 4,8 TB/s |
TDP | 400 W | 700 W |
Bei Speicher und Bandbreite liegen die Chips näher beieinander, als viele erwarten. Der große Unterschied steckt in der Rechenleistung: Berichten zufolge liefert die H200 etwa das Sechsfache der H20.
Release und Verfügbarkeit
NVIDIA hat die H200 am 13. November 2023 angekündigt. Systeme und Cloud-Instanzen sollten ab dem zweiten Quartal 2024 verfügbar sein. Zu den ersten Cloud-Anbietern zählten Amazon Web Services, Google Cloud, Microsoft Azure und Oracle Cloud Infrastructure sowie CoreWeave, Lambda und Vultr. Als Server-Partner nannte NVIDIA unter anderem Dell, HPE, Lenovo, Supermicro, ASUS und GIGABYTE. Wie NVIDIA die deutsche Industrie voranbringt, lesen Sie im Beitrag Nvidia und Deutschland.
Was kostet die NVIDIA H200?
Die H200 wird nicht wie eine Grafikkarte verkauft. Der Preis hängt von der Bauform ab.
Variante | Preis | Hinweis |
H200 NVL (PCIe-Karte) | ab ca. 38.000 € | Preisvergleichsportale, je nach Händler und Lieferumfang |
H200 SXM (einzelnes Modul) | ca. 30.000 bis 55.000 US-Dollar | nur das Modul, kein lauffähiges System |
HGX-H200-Server (8 GPUs) | ca. 350.000 bis 500.000 US-Dollar | Marktpreis bis Listenpreis, inklusive CPUs und Netzwerk |
Cloud-Miete, Spezialanbieter | ca. 2,30 bis 4,60 US-Dollar pro GPU-Stunde | Spot bis On-Demand |
Cloud-Miete, Hyperscaler | ca. 10 bis 10,60 US-Dollar pro GPU-Stunde | meist nur im 8-GPU-Paket |
Die Angaben stammen aus dem Jarvislabs-Preisvergleich. Die Preise ändern sich schnell, prüfen Sie sie vor einer Entscheidung beim Anbieter.
H200 kaufen oder mieten?
Wichtiger als der Preis ist die Auslastung. Ein vereinfachtes Rechenbeispiel ohne Strom, Kühlung, Betrieb und Wertverlust:
Cloud bei einem Spezialanbieter: 8 GPUs × 4,50 $ = rund 36 $ pro Stunde.
Kauf eines Servers für 350.000 $: Break-even nach rund 9.700 Stunden, also etwa 13 Monaten Dauerbetrieb.
Kauf eines Servers für 500.000 $: Break-even nach rund 13.900 Stunden, also etwa 19 Monaten Dauerbetrieb.
Bei einem Hyperscaler (rund 10,60 $ pro GPU-Stunde) liegt der Break-even deutlich früher.
Situation | Empfehlung |
Tests, Prototypen, schwankende Last | Mieten |
Dauerbetrieb über ein bis zwei Jahre, hohe Auslastung | Kaufen kann günstiger sein |
Sensible Daten, die das Haus nicht verlassen dürfen | Eigenes System oder Private Cloud |
Kleinere Modelle | Oft reicht eine einzelne GPU, siehe LLMs auf einer einzigen GPU |
Grundlagen zum Bezug von Rechenleistung als Dienst finden Sie im Beitrag zu Data Center as a Service.
Stromverbrauch der NVIDIA H200
Die H200 SXM nimmt bis zu 700 W auf, die H200 NVL bis zu 600 W. Ein Server mit acht SXM-GPUs kommt allein bei den GPUs auf 5,6 kW, dazu kommen CPUs, Netzwerk und Kühlung. Die SXM ist für flüssigkeitsgekühlte HGX-Systeme ausgelegt, die NVL läuft in luftgekühlten Servern.
Beispielrechnung mit 0,30 € pro kWh: Eine GPU mit 700 W kostet im Dauerbetrieb rund 0,21 € pro Stunde, also etwa 1.840 € pro Jahr. Das ist nur die GPU, der tatsächliche Verbrauch hängt von Last und Kühlung ab.
Export nach China: So ist der Stand
Die H200 steht im Zentrum des Streits um KI-Chip-Exporte. Der Verlauf nach Berichten:
Zuerst: Die US-Regierung kündigt an, Verkäufe an ausgewählte Kunden in China zu erlauben, mit einer Abgabe von 25 % an den US-Staat. Lizenzen werden im Einzelfall geprüft.
Dann: Peking hält die Chips zunächst am Zoll auf und gibt Käufe später nur unter Auflagen frei.
Zuletzt: Laut Financial Times haben ByteDance und Tencent je rund 10.000 Chips erhalten. Die US-Lizenzen erlauben pro Unternehmen deutlich mehr (die Berichte nennen 75.000 bis 100.000). Peking will, dass der Großteil außerhalb des Festlands bleibt, vor allem in Hongkong (The Next Web, Tom’s Hardware).
Die H200 ist damit mindestens zwei Generationen hinter NVIDIAs neuesten Chips, die weiter für China gesperrt sind. Hintergrund und Folgen lesen Sie im Beitrag zu Exportverboten für KI-Chips. Chinas Gegenstrategie zeigen Huaweis KI-Hardware, der Streit Huawei CANN gegen CUDA und die einheimischen KI-Chips der Ant Group.
Nachfolger der H200
Auf die Hopper-Generation folgen Blackwell und Rubin. Wie Blackwell im Unternehmenseinsatz aussieht, zeigt die Blackwell RTX Pro 6000 Server Edition. Einen Blick auf die nächste Generation bietet der Beitrag zu Nvidia Rubin. Auch am Markt bewegt sich viel, etwa mit Nvidias 20-Milliarden-Deal mit Groq und der OpenAI-Nvidia-Partnerschaft.
Für wen lohnt sich die H200?
Cloud-Nutzer mit großen Modellen: Ja, wenn die Modelle nicht in den Speicher der H100 passen.
Unternehmen mit Dauerlast: Kauf prüfen, siehe Rechenbeispiel oben.
Teams mit kleinen Modellen oder Tests: Eher mieten oder eine kleinere GPU nutzen.
Wer die neueste Technik braucht: Blackwell oder Rubin im Blick behalten.
Fazit
Die NVIDIA H200 ist eine H100 mit deutlich mehr und schnellerem Speicher. Das macht sie stark für große Sprachmodelle, aber nicht automatisch zur besten Wahl: Preis, Stromverbrauch und Auslastung entscheiden. Ob Kauf, Miete oder eine kleinere Lösung für Ihr Unternehmen passt, klärt unsere KI-Beratung für Unternehmen.
Häufige Fragen (FAQ)
Was ist die NVIDIA H200?
Die NVIDIA H200 ist ein KI-Beschleuniger der Hopper-Generation mit 141 GB HBM3e-Speicher und 4,8 TB/s Bandbreite. Sie ist für KI-Training, Inferenz und Hochleistungsrechnen gebaut.
Was ist der leistungsstärkste Chip von NVIDIA?
Die H200 gehört zur Hopper-Generation und ist nicht mehr NVIDIAs stärkster Chip. Neuere Generationen wie Blackwell und Rubin sind leistungsfähiger.
Wann wurde die NVIDIA H200 veröffentlicht?
NVIDIA hat sie am 13. November 2023 vorgestellt. Verfügbar sein sollte sie ab dem zweiten Quartal 2024.
Was kostet die NVIDIA H200?
Die PCIe-Variante H200 NVL kostet im Handel ab rund 38.000 €. Ein Server mit acht GPUs kostet etwa 350.000 bis 500.000 US-Dollar. In der Cloud kostet eine GPU ab rund 2 bis 5 US-Dollar pro Stunde, bei Hyperscalern rund 10 US-Dollar.
Kann ich eine NVIDIA H200 mieten?
Ja. Viele Cloud-Anbieter vermieten H200-GPUs stundenweise. Spezialanbieter sind meist günstiger als die großen Hyperscaler.
Wie hoch ist der Stromverbrauch der NVIDIA H200?
Bis zu 700 W bei der SXM-Variante und bis zu 600 W bei der NVL-Variante.
Wie viel Speicher hat die NVIDIA H200?
141 GB HBM3e mit 4,8 TB/s Bandbreite. Das sind etwa 76 % mehr Speicher als bei der H100 mit 80 GB.
Was ist der Unterschied zwischen H200 SXM und H200 NVL?
Die SXM ist ein Modul für HGX-Server mit bis zu 700 W. Die NVL ist eine Doppelslot-PCIe-Karte mit bis zu 600 W, die luftgekühlt in normalen Servern läuft.
Was ist der Unterschied zwischen H100 und H200?
Beide nutzen den Hopper-Chip. Die H200 hat mehr Speicher (141 statt 80 GB) und mehr Bandbreite (4,8 statt 3,35 TB/s).
Was ist der Unterschied zwischen H20 und H200?
Die H20 ist die für China entwickelte Variante mit 96 GB HBM3 und 4,0 TB/s. Die H200 hat mehr Speicher, mehr Bandbreite und berichtetem Vernehmen nach etwa sechsmal so viel Rechenleistung.
Darf China die H200 kaufen?
Teilweise. Die USA erlauben Verkäufe an ausgewählte Kunden gegen eine Abgabe von 25 %. China lässt laut Berichten nur kleine Mengen ins Land.