AI推論にGPUは何枚：2026年のクラウド料金と自前コスト

メモリが枚数を決め、同時実行がレプリカ本数を決める

「AI 推論に GPU は何枚か」は、重みが載るかどうかから入ります。重みはおおよそ、パラメータ数（十億）× 1 パラメータのバイト数です。BF16 と FP16 は 2、FP8 は 1、INT4 は約 0.5。8B の BF16 は約 16 GB、32B は約 64 GB、70B は約 140 GB、405B の FP8 は約 405 GB。KV キャッシュは別枠なので、「重みがぎりぎり入る」と「同時に何本もさばける」は同じ枚数になりません。

H100 SXM は HBM3 が 80 GB、H200 は HBM3e が 141 GB、HGX B200 の仕様ページは GPU あたり HBM3e 192 GB です。表の左は重みを載せる最少枚数、右は KV を残し、1・2・4・8 に寄せた常用枚数です。容量の算術であり、こちらで測ったスループットではありません。

セルは「重みが入る枚数 / KV を残した常用枚数」です。70B BF16 を H100 が 2 枚に載せると 160 GB のうち 140 GB を使い、KV は約 20 GB しか残りません。対外サービスでは常用 4 枚です。H200 が 1 枚だと 141 GB なので、140 GB の BF16 には KV がほとんど残りません。常用はやはり 2 枚です。約 671B の MoE（DeepSeek-R1 級）は総パラメータでメモリを占めます。活性化パラメータは計算量の話で、載るかどうかは決まりません。8×H100 は 640 GB しかなく、671 GB の FP8 重みは入りません。

• 社内の 8B：RTX 5090（32 GB）か L40S（48 GB）が 1 枚あれば BF16 は載ります。データセンターの 8 枚構成で見積もる必要はありません。
• 32B の BF16：64 GB を 80 GB の H100 に入れると、長いコンテキストの KV ですぐ埋まります。常用は 2 枚。H200 と B200 は 1 枚で余裕があります。
• レプリカは別勘定：表はモデル 1 本です。トークンが倍なら、同じサイズのレプリカをもう 1 本足します。精度を口頭で上げる話ではありません。

2026-10-10 のクラウド GPU 時間単価

次の表は、その日の公開ページ 3 つにあるオンデマンドまたはキャパシティブロックの表示価格です。単位は GPU・時あたりの米ドル。Community と Secure、1 枚スライスと 8 枚ノードを、一つの「相場」にまとめないでください。エンタープライズ割引とスポットは入っていません。

AWS のマスは Capacity Blocks の価格ページ です。US East（N. Virginia）の p5.48xlarge（8×H100）はインスタンス $47.757/時、アクセラレータ換算 $5.970。Lambda の $3.99 と $6.69 は instances ページ の 8 枚プランの GPU あたり表示価格です。同じページの B200 は 180 GB、NVIDIA の仕様は 192 GB。容量の計算は 192 GB のままにします。RunPod の各ティアは 料金ページ です。

1 枚を月 730 時間つけっぱなしにすると、H100 SXM の Community は 2.69 × 730 ≈ $1,964、8 枚で約 $15,710。同じ 8 枚を Lambda の $3.99 で見ると約 $23,300、AWS の $5.97 で約 $34,865。平日 1 日 12 時間、月 22 日は 264 時間で、H100 Community が 1 枚約 $710 です。

• 70B FP8 のレプリカ 1 本：H100 では常用 2 枚。Community は 2 × $2.69 = $5.38/時。H200 が 1 枚なら $3.59、B200 が 1 枚なら $5.98。「載せるだけ」なら H200 の行が小さいです。
• PCIe は安いが、2 枚の 70B の見積もりには使わない：H100 PCIe の Community は $1.99。テンソル並列はカード間の帯域を食います。複数枚のレプリカは、実際につながるインターコネクトで見積もってください。
• 小さいモデルに H100 は要らない：5090 の Community は $0.69/時。平日 8 時間 × 22 日は 176 時間、約 $121/月。32B の BF16 は 64 GB なので、32 GB の 5090 には入りません。

自前の 8 枚サーバーは、三つの行に分けてから見る

筐体に NVIDIA の公開定価はありません。2026 年の第三者ガイドは 8×H100 HGX を $250,000–$320,000 と書いています（AI Server Price Guide）。以下は中央値 $285,000 の算術で、仮定の行は仮定と書きます。請求書でも、こちらで買って測った数字でもありません。

資本の行は、285,000 ÷ 8 = 1 枚 $35,625。36 × 730 = 26,280 時間。35,625 ÷ 26,280 ≈ $1.36。電力は H100 SXM の TDP 700 W。GPU 本体 8 枚で 5.6 kW。CPU、NIC、電源損失を 1.3 倍で見ると 7.28 kW。7.28 × 730 × 0.12 ≈ 月 $638。ラック $1,000 は固定費に一行置くための数字で、コロケーションの見積もりではありません。人件費、予備部品、InfiniBand は $1.64 の外です。

• 購入幅：$250,000 なら資本は約 $1.19/GPU・時、三行合計は約 $1.47。$320,000 なら資本は約 $1.52、合計は約 $1.80。
• 残存価値：36 か月後に取得額の 30% で売れるなら、中央値の 70% だけを償却し、約 $0.95。三行合計は約 $1.23 まで下がります。
• B200 の電力はこの行ではない：B200 はボード電力がよく約 1000 W まで書かれます。8 枚ノードの電気とラックは、その世代で計算し直してください。700 W を写さないこと。
• 2 枚のサービスに 8 枚の総額を被せない：必要なのが H100 が 2 枚なら、8 枚ノードは 6 枚が遊びになります。遊休は筐体全体の稼働率に入ります。

自前が安いラインは、どのクラウド単価と比べるかで変わる

サーバーをつけっぱなしにするなら、使えた 1 時間のコストはおおよそ固定の暦コスト ÷ 稼働率です。中央値の仮定では $1.64 ÷ 稼働率。RunPod Community の $2.69 を下回るには約 61%、Lambda の $3.99 なら約 41%、AWS の $5.97 なら約 27%。購入額が $250,000 または $320,000 のとき、$2.69 に対するラインはおよそ 55% と 67%。残存 30% なら中央値のラインは約 46% まで下がります。

稼働率は、そのカードがトークンを出していた時間を暦の時間で割ったものです。8 枚買って 2 枚しか動かさないと、筐体全体の稼働率は 4 分の 1 付近まで落ち、自前の算術は「その 2 枚だけ時間貸し」に負けます。比べる相手を AWS から一番安いコミュニティクラウドに替えると、買う理由はおよそ倍厚く要ります。人、ネットワーク、三年後の売却価格も、この線を動かします。

• 月の半分も動いていない：借りる。遊んでいる自前カードも減価します。クラウドの時間単価は止めた時間から止まります。
• モデルサイズがまだ動く：借りる。8 枚ノードの電力とラックは、買った世代のメモリに固定されます。
• 同じカードが一日の大半トークンを出し、データを建物の外に出せない：$1.64 の行を、自分の購入額と電気代に置き換えてから比べてください。その SKU を合法に買えるか借りられるかは別の問いです。輸出の注記は下にあります。

モデルで枚数を決めてから、借りるか買うか

四つとも請求のシナリオであり、スループットの約束ではありません。第三者ベンチマークは三つ目だけに出て、彼らの表だと書いてあります。

• 社内の 8B アシスタント：RTX 5090 か L40S が 1 枚。BF16 は約 16 GB。Community の 5090 を月 176 時間で約 $121。オフィスに機械がすでにあるなら、コンシューマカードを 1 枚買うほうがまっすぐです。
• 対外の 70B FP8 を平日だけ：常用は 2×H100。Community、月 264 時間で 2 枚約 $1,420。これだけでは 8 枚サーバーを買う理由になりません。レプリカを H200 が 1 枚にすると、時間単価は $5.38 から $3.59 に下がります。
• 70B でコンテキストを伸ばす、または同時実行を増やす：常用は 4×H100。E2E Networks のベンチマーク文書では、Llama 3.1 70B、4×H100、短い会話（入出力おおよそ 128 トークン）の一行が 3438 tokens/s です。彼らの表です。プロンプトが長ければ、レプリカは高くなります。
• 405B FP8、または約 671B：405 GB は 8×H100 の 640 GB に入ります。671 GB の FP8 は入りません。8×H200（8×141 GB ≈ 1,128 GB）か 16×H100 が要ります。時間単価の前にメモリを通してください。

カードを買えることと、1 時間の値段は別の行です。輸出規制の下で、中国に本社がある主体が「第三国に H100 を 1 台置く」ことを既定の調達にしてはいけません。米国の NVIDIA 輸出制限のあとの計算資源を見てください。リポジトリ、署名、常駐エージェントを H100 の時間で払う必要もありません。そのメモリの話は Mac mini を AI エージェントサーバーにする構成にあります。

よくある質問

8B、32B、70B の推論には GPU が何枚？

メモリの算術では、8B の BF16 は約 16 GB なので 32 GB カード 1 枚。32B の BF16 は約 64 GB で、H100 なら常用 2 枚、H200 か B200 なら 1 枚。70B の FP8 は約 70 GB で H100 常用 2 枚。70B の BF16 は約 140 GB で H100 常用 4 枚。容量の話であり、速度測定ではありません。

2026 年に H100 を 1 枚借りるといくら？

2026-10-10 の表示価格は、RunPod の H100 SXM が Community $2.69/時、Secure $3.29、Lambda の 8 枚ノードが $3.99、AWS Capacity Block の p5 アクセラレータが $5.97。つけっぱなし 1 か月で Community が 1 枚約 $1,964 です。

自前の 8 枚サーバーを時間単価にするには？

第三者ガイドは 8×H100 を $250,000–$320,000 としています。中央値 $285,000、36 か月、残存 0 で資本は約 $1.36/GPU・時。見積もりの電力 $0.11 とラック $0.17 を足すと、100% 稼働で約 $1.64。人と専用ネットワークは別です。

稼働率が何パーセントなら買う？

比べるクラウド単価によります。中央値の仮定では、$2.69 を下回るのに約 61%、$3.99 なら約 41%、$5.97 なら約 27%。8 枚買って 2 枚しか使わないと、筐体全体の稼働率が自前を負けに戻します。

70B が 1 本だけなら、8 枚ノードを買う？

ふつうは買いません。FP8 のレプリカ 1 本は H100 で常用 2 枚、Community で $5.38/時。H200 が 1 枚なら $3.59。8 枚の購入額が安い時間貸しを下回るのは、その 8 枚の大半がほとんどの時間トークンを出しているときです。