Wie viele GPUs braucht KI-Inferenz: Cloud oder Eigenbau 2026

Der Speicher setzt die Kartenzahl, die Nebenläufigkeit die Replikate

„Wie viele GPUs braucht KI-Inferenz?“ beginnt damit, ob die Gewichte hineinpassen. Gewichte sind ungefähr Parameterzahl in Milliarden mal Bytes pro Parameter: 2 für BF16 oder FP16, 1 für FP8, etwa 0,5 für INT4. 8B in BF16 sind etwa 16 GB, 32B etwa 64 GB, 70B etwa 140 GB, 405B in FP8 etwa 405 GB. Der KV-Cache kommt extra. „Die Gewichte passen gerade“ und „mehrere Anfragen laufen gleichzeitig“ sind verschiedene Kartenzahlen.

Die H100 SXM hat 80 GB HBM3, die H200 141 GB HBM3e, die Spec-Seite der HGX B200 nennt 192 GB HBM3e pro GPU. Links in der Tabelle steht das Minimum für die Gewichte. Rechts eine übliche Zahl mit Platz für den KV-Cache, gerundet auf 1, 2, 4 oder 8. Das ist Kapazitätsarithmetik, kein Durchsatz, den wir gemessen haben.

Jede Zelle heißt „Gewichte passen / übliche Zahl mit KV-Reserve“. 70B in BF16 auf zwei H100 legen 140 GB in 160 GB, für den KV-Cache bleiben etwa 20 GB. Ein öffentlicher Dienst nimmt dafür üblicherweise 4 Karten. Eine H200 hat 141 GB und lässt für diese BF16-Gewichte fast keinen KV-Cache. Üblich bleiben 2 Karten. Ein MoE um 671B (die Klasse DeepSeek-R1) belegt Speicher nach der Gesamtparameterzahl. Aktive Parameter ändern die Rechenlast, nicht ob die Gewichte passen. Acht H100 sind nur 640 GB, zu wenig für 671 GB FP8-Gewichte.

• Ein internes 8B-Werkzeug: eine RTX 5090 (32 GB) oder eine L40S (48 GB) trägt BF16. Dafür kein Rechenzentrums-Node mit 8 Karten budgetieren.
• 32B in BF16: 64 GB in einer H100 mit 80 GB lassen bei langem Kontext wenig KV-Platz. Üblich sind 2 Karten. Eine H200 oder eine B200 hat noch Luft.
• Replikate extra: Die Tabelle ist eine Kopie des Modells. Doppelte Tokens heißen ein zweites Replikat derselben Größe, keine mündliche Präzisionserhöhung.

Cloud-GPU-Stundenpreise am 10.10.2026

Die Zahlen sind Listenpreise für On-Demand oder Capacity Blocks von drei öffentlichen Seiten an diesem Tag, in US-Dollar pro GPU-Stunde. Community und Secure, eine Einzelkarte und ein 8-GPU-Node, fallen nicht zu einem „Marktpreis“ zusammen. Rabatte für Großkunden und Spot stehen nicht in der Tabelle.

Die AWS-Zelle steht auf der Capacity-Blocks-Preisseite: eine p5.48xlarge (8×H100) in US East (N. Virginia) kostet $47.757 pro Instanzstunde, also $5.970 pro Beschleuniger. Lambdas $3.99 und $6.69 sind die Preise pro GPU der 8-GPU-Pläne auf der Instances-Seite. Dort steht die B200 mit 180 GB, die NVIDIA-Spec mit 192 GB. Die Kapazitätsrechnung bleibt bei 192 GB. Die RunPod-Stufen stehen auf der Preisseite.

Eine Karte 730 Stunden im Monat an: H100 SXM zum Community-Preis ist 2,69 × 730 ≈ $1.964, acht Karten etwa $15.710. Dieselben acht Karten bei Lambda $3.99 sind etwa $23.300, bei AWS $5.97 etwa $34.865. Zwölf Stunden an Werktagen, 22 Tage, sind 264 Stunden: eine H100 auf Community etwa $710.

• Ein 70B-FP8-Replikat: auf H100 üblicherweise 2 Karten. Community-Miete 2 × $2.69 = $5.38 pro Stunde. Eine H200 kostet $3.59, eine B200 $5.98. Wer nur fürs Hineinpassen zahlt, hat bei der H200 die kleinere Zeile.
• PCIe ist billiger und das falsche Angebot für ein 70B auf zwei Karten: H100 PCIe Community ist $1.99. Tensor-Parallelität hängt an der Verbindung zwischen den Karten. Ein Mehrkarten-Replikat nach dem Interconnect bepreisen, den man wirklich bekommt.
• Ein kleines Modell braucht keine H100: eine 5090 auf Community kostet $0.69 pro Stunde. Acht Stunden an 22 Werktagen sind 176 Stunden, etwa $121 im Monat. 32B in BF16 sind 64 GB und passen nicht auf eine 5090 mit 32 GB.

Ein eigener 8-GPU-Server sind drei getrennte Zeilen

NVIDIA veröffentlicht keinen Straßenpreis für das Gehäuse. Ein Drittmarkt-Guide von 2026 setzt ein 8×H100-HGX-System auf $250.000–$320.000 (AI Server Price Guide). Die Rechnung nimmt den Mittelwert $285.000 und markiert jede Annahme. Das ist keine Rechnung und kein Einkauf, den wir gemessen haben.

Die Kapitalzeile: 285.000 ÷ 8 = $35.625 pro Karte; 36 × 730 = 26.280 Stunden; 35.625 ÷ 26.280 ≈ $1.36. Strom nimmt die 700-W-TDP der H100 SXM. Acht GPUs sind 5,6 kW vor dem Rest des Nodes. Der Faktor 1,3 deckt CPU, NICs und Netzteilverluste, 7,28 kW. Dann 7,28 × 730 × 0,12 ≈ $638 im Monat. Die $1.000 fürs Rack sorgen nur dafür, dass die Fixkosten eine Zeile haben. Personal, Ersatzteile und InfiniBand liegen außerhalb der $1.64.

• Die Preisspanne: bei $250.000 liegt das Kapital bei etwa $1.19 pro GPU-Stunde, die drei Zeilen bei etwa $1.47. Bei $320.000 sind es etwa $1.52 und $1.80.
• Restwert: verkauft sich das System nach 36 Monaten noch für 30 %, wird nur 70 % des Mittelwerts abgeschrieben, etwa $0.95. Die drei Zeilen fallen auf etwa $1.23.
• B200-Strom ist nicht diese Zeile: eine B200 wird oft bis etwa 1.000 W geführt. Strom und Rack für diesen Node neu rechnen. 700 W nicht kopieren.
• Einen Zwei-Karten-Dienst nicht an den Acht-Karten-Preis hängen: Wer zwei H100 braucht und einen Acht-Karten-Node kauft, lässt sechs Karten leer. Leerlauf zählt gegen die Auslastung der ganzen Maschine.

Eigenbau gewinnt nur gegen den Cloud-Preis, mit dem man wirklich vergleicht

Bleibt der Server an, sind die Kosten pro genutzter Stunde ungefähr die festen Kalenderkosten geteilt durch die Auslastung. Beim Mittelwert ist das $1.64 ÷ Auslastung. Unter RunPod Community mit $2.69 braucht es etwa 61 %. Unter Lambda mit $3.99 etwa 41 %. Unter AWS mit $5.97 etwa 27 %. Bei einem Einkauf von $250.000 oder $320.000 liegt die Schwelle gegen $2.69 bei etwa 55 % und 67 %. Ein Restwert von 30 % senkt die Mittelwert-Schwelle auf etwa 46 %.

Auslastung ist die Stunden, in denen die Karte Tokens ausgibt, geteilt durch die Kalenderstunden. Acht Karten, von denen nur zwei arbeiten, drücken die Auslastung des ganzen Nodes in die Nähe eines Viertels. Dann verliert der Eigenbau gegen das stundenweise Mieten genau dieser zwei Karten. Tauscht man den Vergleich von AWS zur billigsten Community-Cloud, muss der Kaufgrund ungefähr doppelt so stark sein. Personal, Netz und ein Verkaufspreis in drei Jahren verschieben die Linie noch einmal.

• Die Maschine ist weniger als den halben Monat beschäftigt: mieten. Eine eigene Karte schreibt auch im Leerlauf ab. Eine Cloud-Stunde endet, wenn man sie beendet.
• Die Modellgröße bewegt sich noch: mieten. Strom und Rack eines 8-GPU-Nodes hängen an der Speichergeneration, die man gekauft hat.
• Dieselben Karten geben die meiste Zeit Tokens aus, und die Daten dürfen das Gebäude nicht verlassen: die Zeile $1.64 durch den eigenen Einkaufspreis und Strompreis ersetzen und neu vergleichen. Ob man die SKU legal kaufen oder mieten darf, ist eine andere Frage. Der Hinweis zum Export steht unten.

Erst die Kartenzahl zum Modell, dann mieten oder kaufen

Die vier Zeilen sind Rechnungsszenarien, keine Durchsatzversprechen. Ein Benchmark eines Dritten steht nur in der dritten Zeile und ist als dessen Tabelle gekennzeichnet.

• Ein interner 8B-Assistent: eine RTX 5090 oder eine L40S. BF16 ist etwa 16 GB. Eine Community-5090 für 176 Stunden im Monat kostet etwa $121. Steht schon eine Maschine im Büro, ist eine Consumer-Karte meist der direkte Weg.
• Ein öffentlicher 70B-FP8-Dienst, nur werktags: üblicherweise 2×H100. Zum Community-Preis und 264 Stunden sind zwei Karten etwa $1.420 im Monat. Das ist noch kein Grund, einen 8-GPU-Server zu kaufen. Ein H200-Replikat senkt die Stundenrechnung von $5.38 auf $3.59.
• Ein 70B-Modell mit längerem Kontext oder mehr Nebenläufigkeit: üblich sind 4×H100. In den Benchmark-Dokumenten von E2E Networks steht Llama 3.1 70B auf 4×H100 bei einem kurzen Chat (etwa 128 Tokens je Richtung) bei 3.438 Tokens/s. Das ist deren Tabelle. Ein längerer Prompt macht das Replikat teurer.
• 405B FP8 oder etwa 671B: 405 GB passen in die 640 GB von 8×H100. 671 GB FP8 passen nicht. Dafür braucht es 8×H200 (8×141 GB ≈ 1.128 GB) oder 16×H100. Erst den Speicher klären, dann die Stundenpreise.

Ob man die Karte kaufen kann und was die Stunde kostet, sind zwei Zeilen. Unter den Exportregeln sollte ein Unternehmen mit Sitz in China „eine H100 in einem Drittland“ nicht als Standardbeschaffung behandeln. Siehe Rechenleistung nach den US-Exportgrenzen für NVIDIA. Git, Signierung und ein dauerhafter Agent sollten auch nicht als H100-Stunden laufen. Der Speicher dafür steht im Mac-mini-Leitfaden für einen KI-Agent-Server.

Fragen

Wie viele GPUs für 8B-, 32B- und 70B-Inferenz?

Aus der Speicherrechnung: 8B in BF16 sind etwa 16 GB, also eine 32-GB-Karte. 32B in BF16 sind etwa 64 GB, üblicherweise 2 H100 oder eine H200 bzw. B200. 70B in FP8 sind etwa 70 GB, üblicherweise 2 H100. 70B in BF16 sind etwa 140 GB, üblicherweise 4 H100. Das ist Kapazität, kein Geschwindigkeitstest.

Was kostet eine gemietete H100 im Jahr 2026?

Listenpreise am 10.10.2026: RunPod H100 SXM $2.69 Community und $3.29 Secure, ein Lambda-Node mit 8 GPUs $3.99, ein AWS-Capacity-Block-Beschleuniger p5 $5.97. Einen Monat durchlaufend kostet eine Community-Karte etwa $1.964.

Wie wird ein eigener 8-GPU-Server zum Stundenpreis?

Ein Drittguide setzt 8×H100 auf $250.000–$320.000. Der Mittelwert $285.000 über 36 Monate ohne Restwert ist etwa $1.36 Kapital pro GPU-Stunde. Dazu geschätzter Strom $0.11 und ein geschätztes Rack $0.17, bei 100 % Laufzeit etwa $1.64. Personal und ein privates Netz kommen extra.

Ab welcher Auslastung ist Kaufen günstiger?

Das hängt vom Cloud-Preis ab, mit dem man vergleicht. Beim Mittelwert braucht es gegen $2.69 etwa 61 % Auslastung, gegen $3.99 etwa 41 %, gegen $5.97 etwa 27 %. Kauft man acht Karten und nutzt zwei, drückt die Auslastung des ganzen Nodes den Eigenbau wieder in die Verlustzone.

Ein 70B-Dienst: einen vollen 8-GPU-Node kaufen?

Meist nein. Ein FP8-Replikat braucht auf H100 üblicherweise 2 Karten, Community-Miete $5.38 pro Stunde, oder eine H200 für $3.59. Der 8-GPU-Kauf unterbietet einen günstigen Cloud-Stundenpreis erst, wenn die meisten dieser acht Karten die meiste Zeit Tokens ausgeben.