Combien de GPU pour l’inférence IA : cloud ou serveur propre en 2026

Faits clés

Le nombre de cartes commence par la mémoire. Un modèle 8B en BF16 fait environ 16 Go : une carte de 32 Go suffit. Un 70B en BF16 fait environ 140 Go ; sur H100, avec de la place pour le cache KV, le découpage courant est de 4 GPU.
Tarifs horaires publics au 10 octobre 2026 : le H100 SXM va de RunPod Community à $2.69 jusqu’au AWS Capacity Block à $5.97. La même carte peut doubler la facture.
Le calcul d’un serveur en propre prend le milieu de fourchette d’un guide tiers, $285 000 pour 8×H100, sur 36 mois, valeur résiduelle nulle. À 100 % du calendrier, cela fait environ $1.64 par GPU-heure, électricité et baie estimées comprises. Passer sous $2.69 demande environ 60 % d’utilisation.
Pour un seul réplica 70B en FP8, un H200 (Community $3.59) coûte moins que deux H100 ($5.38). Comparez d’abord les cartes d’un réplica, ensuite le châssis entier.

Baies de serveurs dans une salle machines, le matériel derrière la location de GPU cloud et un serveur d’IA en propre — La facture d’inférence commence par le nombre de cartes dans cette baie, puis par les heures où ces cartes émettent vraiment des tokens.

La mémoire fixe le nombre de cartes, la concurrence le nombre de réplicas

« Combien de GPU pour l’inférence IA ? » commence par une question de place. Les poids valent à peu près le nombre de paramètres en milliards fois les octets par paramètre : 2 en BF16 ou FP16, 1 en FP8, environ 0,5 en INT4. Un 8B en BF16 fait environ 16 Go, un 32B environ 64 Go, un 70B environ 140 Go, un 405B en FP8 environ 405 Go. Le cache KV est en plus. « Les poids tiennent tout juste » et « plusieurs requêtes tournent en même temps » ne donnent pas le même nombre de GPU.

Le H100 SXM a 80 Go de HBM3, le H200 141 Go de HBM3e, et la page du HGX B200 indique 192 Go de HBM3e par GPU. Dans le tableau, le chiffre de gauche est le minimum pour les poids. Celui de droite est un compte courant qui laisse de la place au KV et s’arrondit à 1, 2, 4 ou 8. C’est de l’arithmétique de capacité, pas un débit que nous avons mesuré.

Modèle	Précision	Poids	H100 80 Go	H200 141 Go	B200 192 Go
7–8B	BF16	16 Go	1 / 1	1 / 1	1 / 1
32B	BF16	64 Go	1 / 2	1 / 1	1 / 1
70B	FP8	70 Go	1 / 2	1 / 1	1 / 1
70B	BF16	140 Go	2 / 4	1 / 2	1 / 2
405B	FP8	405 Go	8 / 8	4 / 4	4 / 4
~671B MoE	FP8	671 Go	16 (8 ne suffisent pas)	8 / 8	4 / 8

Chaque case se lit « les poids tiennent / compte courant avec réserve KV ». Un 70B en BF16 sur deux H100 met 140 Go dans 160 Go : il reste environ 20 Go pour le KV. Un service public prend en général 4 cartes. Un H200 fait 141 Go et ne laisse presque pas de KV pour ces poids BF16 ; le compte courant reste 2. Un MoE d’environ 671B (la classe DeepSeek-R1) occupe la mémoire selon le nombre total de paramètres. Les paramètres actifs changent le calcul, pas le fait que les poids tiennent. Huit H100 ne font que 640 Go, trop peu pour 671 Go de poids FP8.

Un outil interne en 8B : une RTX 5090 (32 Go) ou une L40S (48 Go) porte le BF16. Inutile de budgéter un nœud datacenter de 8 cartes.
32B en BF16 : 64 Go dans un H100 de 80 Go laissent peu de KV dès que le contexte s’allonge. Le compte courant est 2 cartes. Un H200 ou un B200 a encore de la marge.
Les réplicas sont à part : le tableau est une copie du modèle. Deux fois plus de tokens, c’est un second réplica de la même taille, pas une précision relevée à l’oral.

Tarifs horaires des GPU cloud au 10 octobre 2026

Les chiffres ci-dessous sont des prix catalogue à la demande ou en bloc de capacité, lus ce jour-là sur trois pages publiques, en dollars par GPU-heure. Community et Secure, une tranche d’un GPU et un nœud de 8 GPU, ne se fondent pas en un « prix de marché ». Les remises entreprise et le spot ne sont pas dans le tableau.

GPU	RunPod Community	RunPod Secure	Nœud Lambda 8 GPU	AWS Capacity Block
H100 SXM 80 Go	$2.69	$3.29	$3.99	$5.97
H100 PCIe 80 Go	$1.99	$2.89	—	—
H200	$3.59	$4.59	Absent de la page libre-service	Non cité ici
B200	$5.98	$6.79	$6.69	Non cité ici
L40S 48 Go	$0.79	$0.99	—	—
RTX 5090 32 Go	$0.69	$0.99	—	—

La case AWS vient de la page de tarifs Capacity Blocks : une p5.48xlarge (8×H100) en US East (Virginie du Nord) est à $47.757 l’heure d’instance, soit $5.970 par accélérateur. Les $3.99 et $6.69 de Lambda sont les prix par GPU des offres 8 GPU sur la page instances. Cette page indique 180 Go pour le B200 ; la spec NVIDIA dit 192 Go. Le calcul de capacité garde 192 Go. Les paliers RunPod sont sur sa page de tarifs.

Une carte allumée 730 heures dans le mois : le H100 SXM au tarif Community fait 2,69 × 730 ≈ $1 964, et huit cartes environ $15 710. Les mêmes huit cartes à $3.99 chez Lambda font environ $23 300, et à $5.97 chez AWS environ $34 865. Douze heures par jour ouvré, 22 jours, font 264 heures : un H100 Community coûte environ $710.

Un réplica 70B FP8 : sur H100, le découpage courant est de 2 cartes. Le loyer Community est 2 × $2.69 = $5.38 de l’heure. Un H200 coûte $3.59. Un B200 coûte $5.98. Si vous ne payez que pour faire tenir le modèle, la ligne H200 est plus petite.
Le PCIe est moins cher, et ce n’est pas le bon devis pour un 70B sur deux cartes : le H100 PCIe Community est à $1.99. Le parallélisme de tenseurs dépend du lien entre les cartes. Prix un réplica multi-GPU sur l’interconnexion que vous aurez vraiment.
Un petit modèle n’a pas besoin d’un H100 : une 5090 Community est à $0.69 de l’heure. Huit heures sur 22 jours ouvrés font 176 heures, environ $121 par mois. Un 32B en BF16 fait 64 Go et ne tient pas sur une 5090 de 32 Go.

Un serveur de 8 GPU en propre, ce sont trois lignes séparées

NVIDIA ne publie pas de prix de rue pour le châssis. Un guide de marché tiers de 2026 place un système 8×H100 HGX entre $250 000 et $320 000 (AI Server Price Guide). L’arithmétique ci-dessous prend le milieu, $285 000, et étiquette chaque hypothèse. Ce n’est pas une facture, ni un achat que nous avons mesuré.

Ligne	Hypothèse	Par GPU-heure	8 GPU, un mois
Capital, milieu $285 000	36 mois, résiduel 0, 100 % du calendrier	$1.36	—
Électricité	8×700 W × 1,3, $0.12/kWh, allumé tout le mois	$0.11	environ $638
Baie	$1 000 par mois, estimation seulement	$0.17	$1 000
Total	Les trois lignes, utilisation 100 %	$1.64	—
RunPod H100 SXM Community	Prix catalogue, 730 heures	$2.69	environ $15 710
Nœud Lambda 8 GPU	Prix catalogue, 730 heures	$3.99	environ $23 300
AWS Capacity Block	Prix catalogue, 730 heures	$5.97	environ $34 865

La ligne capital : 285 000 ÷ 8 = $35 625 par carte ; 36 × 730 = 26 280 heures ; 35 625 ÷ 26 280 ≈ $1.36. L’électricité prend le TDP de 700 W du H100 SXM. Huit GPU font 5,6 kW avant le reste du nœud. Un facteur 1,3 couvre CPU, cartes réseau et pertes d’alimentation, soit 7,28 kW. Ensuite 7,28 × 730 × 0,12 ≈ $638 par mois. Les $1 000 de baie existent pour que le coût fixe ait une ligne ; ce n’est pas un devis de colocation. Le personnel, les pièces et InfiniBand sont hors des $1.64.

La fourchette d’achat : à $250 000, le capital est d’environ $1.19 par GPU-heure et les trois lignes d’environ $1.47. À $320 000, environ $1.52 et $1.80.
Valeur résiduelle : si le système se revend encore 30 % au bout de 36 mois, on n’amortit que 70 % du milieu, environ $0.95. Les trois lignes descendent vers $1.23.
L’électricité d’un B200 n’est pas cette ligne : une carte B200 est souvent indiquée jusqu’à environ 1 000 W. Recalculez électricité et baie pour ce nœud. Ne copiez pas 700 W.
Ne posez pas un service à deux cartes sur le prix de huit : s’il vous faut deux H100, un nœud de huit en laisse six au repos. Le repos compte dans l’utilisation de la machine entière.

Le serveur en propre ne gagne que contre le tarif cloud que vous comparez vraiment

Si le serveur reste alimenté, le coût d’une heure utile est à peu près le coût calendaire fixe divisé par l’utilisation. Avec les hypothèses du milieu, c’est $1.64 ÷ utilisation. Passer sous RunPod Community à $2.69 demande environ 61 %. Sous Lambda à $3.99, environ 41 %. Sous AWS à $5.97, environ 27 %. À $250 000 ou $320 000 d’achat, le seuil face à $2.69 est d’environ 55 % et 67 %. Une résiduelle de 30 % abaisse le seuil du milieu vers 46 %.

L’utilisation, ce sont les heures où la carte émet des tokens, divisées par les heures du calendrier. Huit cartes dont deux seulement travaillent mettent l’utilisation du nœud près d’un quart, et le serveur en propre perd contre la location à l’heure de ces deux cartes-là. Si la comparaison passe d’AWS au cloud communautaire le moins cher, la raison d’acheter doit être à peu près deux fois plus solide. Le personnel, le réseau et un prix de revente dans trois ans déplacent encore la ligne.

La machine est occupée moins de la moitié du mois : louez. Une carte achetée s’amortit même au repos. Une heure cloud s’arrête quand vous l’arrêtez.
La taille du modèle bouge encore : louez. L’électricité et la baie d’un nœud de 8 GPU sont verrouillées sur la génération de mémoire que vous avez achetée.
Les mêmes cartes émettent des tokens la majeure partie de la journée, et les données ne peuvent pas quitter le bâtiment : remplacez la ligne $1.64 par votre prix d’achat et votre prix du kWh, puis comparez de nouveau. Pouvoir acheter ou louer cette référence en toute légalité est une autre question. La note sur l’export est plus bas.

Choisir le nombre de cartes pour le modèle, puis louer ou acheter

Ces quatre lignes sont des scénarios de facture, pas des promesses de débit. Un benchmark tiers n’apparaît que dans la troisième, et il est présenté comme leur tableau.

Un assistant interne en 8B : une RTX 5090 ou une L40S. Le BF16 fait environ 16 Go. Une 5090 Community pour 176 heures par mois coûte environ $121. S’il y a déjà une machine au bureau, acheter une carte grand public est en général le chemin direct.
Un service 70B FP8 public, jours ouvrés seulement : en général 2×H100. Au tarif Community et 264 heures, deux cartes font environ $1 420 par mois. Ce n’est pas encore une raison d’acheter un serveur de 8 GPU. Un réplica sur un H200 fait passer l’heure de $5.38 à $3.59.
Un 70B avec un contexte plus long ou plus de concurrence : le découpage courant est 4×H100. Dans la documentation de benchmark d’E2E Networks, Llama 3.1 70B sur 4×H100 pour un chat court (environ 128 tokens dans chaque sens) est indiqué à 3 438 tokens/s. C’est leur tableau. Un prompt plus long rend le réplica plus cher.
405B FP8, ou environ 671B : 405 Go tiennent dans les 640 Go de 8×H100. 671 Go de FP8 n’y tiennent pas. Il faut 8×H200 (8×141 Go ≈ 1 128 Go) ou 16×H100. Réglez la mémoire avant de comparer les tarifs horaires.

Pouvoir acheter la carte et le prix de l’heure sont deux lignes. Sous les règles d’export, une entité dont le siège est en Chine ne devrait pas traiter « un H100 dans un pays tiers » comme l’achat par défaut. Voir la puissance de calcul après les limites d’export NVIDIA des États-Unis. Le dépôt, la signature et un agent résident ne devraient pas non plus être facturés en heures H100. La mémoire de ce travail est dans le guide Mac mini comme serveur d’agent IA.

Questions

Combien de GPU pour une inférence 8B, 32B et 70B ?

D’après l’arithmétique mémoire : 8B en BF16, environ 16 Go, donc une carte de 32 Go. 32B en BF16, environ 64 Go, en général 2 H100, ou un H200 ou un B200. 70B en FP8, environ 70 Go, en général 2 H100. 70B en BF16, environ 140 Go, en général 4 H100. C’est de la capacité, pas un test de vitesse.

Combien coûte la location d’un H100 en 2026 ?

Prix catalogue au 10 octobre 2026 : H100 SXM RunPod à $2.69 en Community et $3.29 en Secure, un nœud Lambda de 8 GPU à $3.99, un accélérateur p5 en AWS Capacity Block à $5.97. Laissé allumé un mois, une carte Community coûte environ $1 964.

Comment un serveur de 8 GPU en propre devient-il un coût horaire ?

Un guide tiers place 8×H100 entre $250 000 et $320 000. Le milieu de $285 000 sur 36 mois sans résiduelle fait environ $1.36 de capital par GPU-heure. Ajoutez une électricité estimée de $0.11 et une baie estimée de $0.17 : à 100 % de marche, environ $1.64. Le personnel et un réseau privé sont en plus.

Quelle utilisation rend l’achat moins cher ?

Cela dépend du tarif cloud comparé. Avec les hypothèses du milieu, battre $2.69 demande environ 61 % d’utilisation, battre $3.99 environ 41 %, battre $5.97 environ 27 %. Si vous achetez huit cartes et n’en utilisez que deux, l’utilisation du nœud entier ramène la propriété dans le rouge.

Un seul service 70B : faut-il acheter un nœud complet de 8 GPU ?

En général, non. Un réplica FP8 prend d’habitude 2 H100, soit $5.38 de l’heure en Community, ou un H200 à $3.59. L’achat de 8 GPU ne bat un tarif cloud bon marché que si la plupart de ces huit cartes émettent des tokens la plupart du temps.