關鍵事實
- 張數的第一刀是顯存。8B、BF16 大約 16 GB，一張 32 GB 卡就夠；70B、BF16 大約 140 GB，H100 上留 KV 常用 4 張。
- 2026-10-10 的公開小時價：H100 SXM 從 RunPod Community 的 $2.69，到 AWS Capacity Block 的 $5.97。同一張卡，帳單可以差一倍以上。
- 自建算術用第三方行情中位 $285,000 的 8×H100、攤 36 個月、殘值先按 0。100% 開機時大約 $1.64/GPU·小時（含估算電費和機櫃）。要對上 $2.69，利用率大約要過 60%。
- 只為一個 70B FP8 副本付錢時，1 張 H200（Community $3.59）比 2 張 H100（$5.38）更便宜。先按「一個副本幾張」比，再談整機。
顯存先決定張數，並行再決定要幾份副本
問「AI 推論需要多少 GPU」，先算權重放不放得下。權重大約等於參數量（十億）乘以每參數位元組：BF16 或 FP16 是 2，FP8 是 1，INT4 大約是 0.5。8B 的 BF16 約 16 GB，32B 約 64 GB，70B 約 140 GB，405B 的 FP8 約 405 GB。KV cache 還要另留，所以「權重剛塞進顯存」和「能同時服務好幾路請求」不是同一張數。
H100 SXM 是 80 GB HBM3，H200 是 141 GB HBM3e，HGX B200 的規格頁是每 GPU 192 GB HBM3e。下表左邊是裝下權重的最少張數，右邊是給 KV 留空、並取到 1、2、4、8 的常用張數。這是容量算術，不是我們跑出來的吞吐量。
| 模型 | 精度 | 權重大約 | H100 80GB | H200 141GB | B200 192GB |
|---|---|---|---|---|---|
| 7–8B | BF16 | 16 GB | 1 / 1 | 1 / 1 | 1 / 1 |
| 32B | BF16 | 64 GB | 1 / 2 | 1 / 1 | 1 / 1 |
| 70B | FP8 | 70 GB | 1 / 2 | 1 / 1 | 1 / 1 |
| 70B | BF16 | 140 GB | 2 / 4 | 1 / 2 | 1 / 2 |
| 405B | FP8 | 405 GB | 8 / 8 | 4 / 4 | 4 / 4 |
| 約 671B MoE | FP8 | 671 GB | 16（8 卡不夠） | 8 / 8 | 4 / 8 |
儲存格寫成「裝下權重 / 留 KV 的常用張數」。70B BF16 在兩張 H100 上是 160 GB 裡放 140 GB，KV 只剩約 20 GB，所以對外服務常用 4 張。H200 一張是 141 GB，140 GB 的 BF16 權重幾乎不留 KV，常用仍是 2 張。約 671B 的 MoE（例如 DeepSeek-R1 這一量級）要按總參數占顯存；激活參數只影響算力，不決定放不放得下。8×H100 只有 640 GB，裝不下 671 GB 的 FP8 權重。
- 8B 內部工具：一張 RTX 5090（32 GB）或 L40S（48 GB）就夠 BF16。不必按資料中心 8 卡來做預算。
- 32B BF16：64 GB 放進 80 GB 的 H100 後，長上下文的 KV 容易頂滿，所以常用 2 張。H200 和 B200 一張就有餘量。
- 副本數另算：上表是一份模型。流量要兩倍 token，就再加一份同樣的副本，而不是把精度口頭升高。
2026-10-10 的雲端 GPU 小時價
下面是當天三個公開頁面上的隨需或容量塊標價，單位都是每 GPU·小時。社群雲和安全雲、單卡切片和 8 卡節點，不要加成一個「市場價」。企業折扣、搶占式執行個體都沒進表。
| GPU | RunPod Community | RunPod Secure | Lambda 8 卡節點 | AWS Capacity Block |
|---|---|---|---|---|
| H100 SXM 80GB | $2.69 | $3.29 | $3.99 | $5.97 |
| H100 PCIe 80GB | $1.99 | $2.89 | — | — |
| H200 | $3.59 | $4.59 | 自助頁未列 | 本文不引用 |
| B200 | $5.98 | $6.79 | $6.69 | 本文不引用 |
| L40S 48GB | $0.79 | $0.99 | — | — |
| RTX 5090 32GB | $0.69 | $0.99 | — | — |
AWS 這一格來自 Capacity Blocks 價格頁：p5.48xlarge（8×H100）在 US East（N. Virginia）是執行個體 $47.757/小時，折合加速器 $5.970。Lambda 的 $3.99 和 $6.69 是 instances 頁上 8 卡方案的每 GPU 標價；同一頁把 B200 寫成 180 GB，NVIDIA 規格頁是 192 GB，容量算術仍按 192 GB。RunPod 各檔見 定價頁。
一張卡連續開機按每月 730 小時：H100 SXM 的 Community 價是 2.69 × 730 ≈ $1,964，8 張是約 $15,710。同一台 8 卡若按 Lambda $3.99，約 $23,300；按 AWS $5.97，約 $34,865。工作日每天 12 小時、每月 22 天是 264 小時，一張 H100 Community 約 $710。
- 一個 70B FP8 副本：H100 上常用 2 張，Community 租金 2 × $2.69 = $5.38/小時。1 張 H200 是 $3.59，1 張 B200 是 $5.98。只為「放得下」付錢時，H200 這行更小。
- PCIe 更便宜，但別拿來給兩張卡的 70B 報價：H100 PCIe Community 是 $1.99。張量並行更吃卡間頻寬，多卡推論要對著實際互聯報價，不能預設按 PCIe 小時價。
- 小模型不必上 H100：5090 Community $0.69/小時。工作日每天 8 小時、22 天是 176 小時，約 $121/月。32B 的 BF16 有 64 GB，32 GB 的 5090 放不下。
自建一台 8 卡伺服器，先把三筆帳分開
採購價沒有 NVIDIA 的公開標價。2026 年的一份第三方行情指南把 8×H100 HGX 寫在 $250,000–$320,000（AI Server Price Guide）。下面用中位 $285,000 做算術，並標明哪些行是假設。這不是發票，也不是我們的採購實測。
| 項目 | 假設 | 每 GPU·小時 | 8 卡一個月 |
|---|---|---|---|
| 資本，中位 $285,000 | 36 個月，殘值 0，100% 日曆 | $1.36 | — |
| 電力 | 8×700 W × 1.3，$0.12/kWh，全月開機 | $0.11 | 約 $638 |
| 機櫃 | $1,000/月，僅為估算 | $0.17 | $1,000 |
| 合計 | 上面三行，100% 利用率 | $1.64 | — |
| RunPod H100 SXM Community | 公開標價，730 小時 | $2.69 | 約 $15,710 |
| Lambda 8 卡節點 | 公開標價，730 小時 | $3.99 | 約 $23,300 |
| AWS Capacity Block | 公開標價，730 小時 | $5.97 | 約 $34,865 |
資本一行：285,000 ÷ 8 = 每卡 $35,625；36 × 730 = 26,280 小時；35,625 ÷ 26,280 ≈ $1.36。電力按 H100 SXM 的 700 W TDP。8 張 GPU 本體 5.6 kW，整機按 1.3 倍估算 CPU、網卡和電源損耗，7.28 kW。7.28 × 730 × 0.12 ≈ $638/月。機櫃 $1,000 是為了讓固定成本裡有一行，不是機房報價。人員、備件和 InfiniBand 都沒進 $1.64。
- 採購區間：$250,000 時資本約 $1.19/GPU·小時，三行合計約 $1.47。$320,000 時資本約 $1.52，合計約 $1.80。
- 殘值：若 36 個月後還能賣出原價的 30%，中位資本只攤 70%，約 $0.95。三行合計降到約 $1.23。
- B200 的電不是這一行：B200 整卡功耗更高，常見標到約 1000 W。8 卡節點的電費和機櫃要按那一檔重算，不能照抄 700 W。
- 兩張卡的服務不要套 8 卡總價：只需要 2 張 H100 時，買一台 8 卡節點會讓另外 6 張閒著。閒置按整機算進利用率。
自建更便宜的門檻，取決於你拿哪檔雲端價格來比
機器一直開著時，有用小時的成本大約是固定日曆成本除以利用率。中位假設下就是 $1.64 ÷ 利用率。要低於 RunPod Community 的 $2.69，利用率要高於約 61%；低於 Lambda 的 $3.99，約 41%；低於 AWS 的 $5.97，約 27%。採購價取 $250,000 或 $320,000 時，對上 $2.69 的門檻大約是 55% 和 67%。殘值按 30% 時，中位門檻降到約 46%。
利用率是這張卡在出 token 的小時，除以日曆小時。買了 8 張卻只讓 2 張幹活，整機利用率會掉到四分之一附近，自建算術會輸給「按小時只租那兩張」。對照對象若從 AWS 換成最便宜的社群雲，買機器的理由要厚一倍。人員、網路和三年後的轉售價都會再挪這條線。
- 一個月真正跑不滿一半：租。閒置的自有卡仍在折舊，雲端的小時價停了就停。
- 模型尺寸還在變：租。8 卡節點的電力和機櫃，鎖的是你買下的那一代顯存。
- 同一套卡大部分時間在出 token，而且資料不能出樓：用你自己的採購價和電價，把 $1.64 那一行換掉再比。能合法買到或租到這張卡，是另一件事，見下面的出口說明。
按模型選張數，再決定租還是買
四條都是帳單情景，不是吞吐量承諾。第三方基準只在第三條出現，並且標明是他們的表。
- 8B 內部助手：1× RTX 5090 或 1× L40S。BF16 約 16 GB。Community 的 5090 按每月 176 小時約 $121。辦公室裡已經有機器時，買一張消費卡通常更直接。
- 對外的 70B FP8，只在工作日開：常用 2×H100。Community、每月 264 小時，兩張約 $1,420。這還不是買一台 8 卡伺服器的理由。若副本用 1×H200，小時價從 $5.38 降到 $3.59。
- 70B 要更長上下文或更高並行：常用 4×H100。E2E Networks 的基準文件裡，Llama 3.1 70B、4×H100、短對話（大約各 128 token）一行是 3438 tokens/s。那是他們的表。你的提示更長，副本就更貴。
- 405B FP8 或約 671B：405 GB 放得進 8×H100 的 640 GB。671 GB 的 FP8 放不進，要 8×H200（8×141 GB ≈ 1,128 GB）或 16×H100。先過顯存，再比較小時價。
卡能不能買到，和小時價是兩行。出口限制下，中國主體不能把「在第三國放一台 H100」當成預設採購路徑，見 美國限制 NVIDIA AI 晶片出口之後的算力。倉庫、簽章和常駐 Agent 也不該按 H100 小時計費，記憶體怎麼配見 Mac mini AI Agent 伺服器。
常見問題
8B、32B、70B 推論各要幾張 GPU？
按顯存算術：8B BF16 約 16 GB，一張 32 GB 卡即可。32B BF16 約 64 GB，H100 上常用 2 張，H200 或 B200 一張即可。70B FP8 約 70 GB，H100 常用 2 張；70B BF16 約 140 GB，H100 常用 4 張。這是容量，不是測速。
2026 年租一張 H100 多少錢？
2026-10-10 的公開標價：RunPod 上 H100 SXM Community $2.69/小時、Secure $3.29；Lambda 8 卡節點 $3.99；AWS Capacity Block 的 p5 加速器 $5.97。連續開機一個月，一張 Community 約 $1,964。
自建 8 卡伺服器怎麼攤到每小時？
第三方行情把 8×H100 寫在 $250,000–$320,000。取中位 $285,000、36 個月、殘值 0，資本約 $1.36/GPU·小時。再加估算電費 $0.11 和估算機櫃 $0.17，100% 開機約 $1.64。人員和不間斷網路另計。
利用率多高才值得買？
取決於對照的雲端價格。中位假設下，要對上 $2.69 大約需要 61% 的利用率，對上 $3.99 約 41%，對上 $5.97 約 27%。買了 8 張只用 2 張時，按整機算的利用率會把自建打回去。
只跑一個 70B，要不要買整台 8 卡？
通常不要。一個 FP8 副本在 H100 上常用 2 張，Community 租金 $5.38/小時；換成 1 張 H200 是 $3.59。8 卡節點的總價要等這 8 張大部分時間都在出 token，才有機會低於便宜的雲端小時價。
GPU 小時價只該買 token
H100 的 $2.69 買的是顯存裡的那一次生成。倉庫、簽章、工具呼叫和常駐 Agent 如果也租在同一張卡上，等待時間會按資料中心小時價計。把執行層放在一台不開蓋的雲端 Mac mini 上，推論仍走你已經選好的雲端 GPU 或 API。Apple Silicon 的統一記憶體適合小模型和編排，不代替 70B 的 HBM；低功耗則讓這台控制面不必跟著 700 W 的卡一起開機。
先把 Agent 和推論的帳單拆開，再決定 8 卡節點要不要買。 從雲端 Mac mini 方案看起