关键事实
- 张数的第一刀是显存。8B、BF16 大约 16 GB，一张 32 GB 卡就够；70B、BF16 大约 140 GB，H100 上留 KV 常用 4 张。
- 2026-10-10 的公开小时价：H100 SXM 从 RunPod Community 的 $2.69，到 AWS Capacity Block 的 $5.97。同一张卡，账单可以差一倍以上。
- 自建算术用第三方行情中位 $285,000 的 8×H100、摊 36 个月、残值先按 0。100% 开机时大约 $1.64/GPU·小时（含估算电费和机柜）。要对上 $2.69，利用率大约要过 60%。
- 只为一个 70B FP8 副本付钱时，1 张 H200（Community $3.59）比 2 张 H100（$5.38）更便宜。先按「一个副本几张」比，再谈整机。
显存先决定张数，并发再决定要几份副本
问「AI 推理需要多少 GPU」，先算权重放不放得下。权重大约等于参数量（十亿）乘以每参数字节：BF16 或 FP16 是 2，FP8 是 1，INT4 大约是 0.5。8B 的 BF16 约 16 GB，32B 约 64 GB，70B 约 140 GB，405B 的 FP8 约 405 GB。KV cache 还要另留，所以「权重刚塞进显存」和「能同时服务好几路请求」不是同一张数。
H100 SXM 是 80 GB HBM3，H200 是 141 GB HBM3e，HGX B200 的规格页是每 GPU 192 GB HBM3e。下表左边是装下权重的最少张数，右边是给 KV 留空、并取到 1、2、4、8 的常用张数。这是容量算术，不是我们跑出来的吞吐量。
| 模型 | 精度 | 权重大约 | H100 80GB | H200 141GB | B200 192GB |
|---|---|---|---|---|---|
| 7–8B | BF16 | 16 GB | 1 / 1 | 1 / 1 | 1 / 1 |
| 32B | BF16 | 64 GB | 1 / 2 | 1 / 1 | 1 / 1 |
| 70B | FP8 | 70 GB | 1 / 2 | 1 / 1 | 1 / 1 |
| 70B | BF16 | 140 GB | 2 / 4 | 1 / 2 | 1 / 2 |
| 405B | FP8 | 405 GB | 8 / 8 | 4 / 4 | 4 / 4 |
| 约 671B MoE | FP8 | 671 GB | 16（8 卡不够） | 8 / 8 | 4 / 8 |
单元格写成「装下权重 / 留 KV 的常用张数」。70B BF16 在两张 H100 上是 160 GB 里放 140 GB，KV 只剩约 20 GB，所以对外服务常用 4 张。H200 一张是 141 GB，140 GB 的 BF16 权重几乎不留 KV，常用仍是 2 张。约 671B 的 MoE（例如 DeepSeek-R1 这一量级）要按总参数占显存；激活参数只影响算力，不决定放不放得下。8×H100 只有 640 GB，装不下 671 GB 的 FP8 权重。
- 8B 内部工具：一张 RTX 5090（32 GB）或 L40S（48 GB）就够 BF16。不必按数据中心 8 卡来做预算。
- 32B BF16：64 GB 放进 80 GB 的 H100 后，长上下文的 KV 容易顶满，所以常用 2 张。H200 和 B200 一张就有余量。
- 副本数另算：上表是一份模型。流量要两倍 token，就再加一份同样的副本，而不是把精度口头升高。
2026-10-10 的云 GPU 小时价
下面是当天三个公开页面上的按需或容量块标价，单位都是每 GPU·小时。社区云和安全云、单卡切片和 8 卡节点，不要加成一个「市场价」。企业折扣、抢占式实例都没进表。
| GPU | RunPod Community | RunPod Secure | Lambda 8 卡节点 | AWS Capacity Block |
|---|---|---|---|---|
| H100 SXM 80GB | $2.69 | $3.29 | $3.99 | $5.97 |
| H100 PCIe 80GB | $1.99 | $2.89 | — | — |
| H200 | $3.59 | $4.59 | 自助页未列 | 本文不引用 |
| B200 | $5.98 | $6.79 | $6.69 | 本文不引用 |
| L40S 48GB | $0.79 | $0.99 | — | — |
| RTX 5090 32GB | $0.69 | $0.99 | — | — |
AWS 这一格来自 Capacity Blocks 价格页：p5.48xlarge（8×H100）在 US East（N. Virginia）是实例 $47.757/小时，折合加速器 $5.970。Lambda 的 $3.99 和 $6.69 是 instances 页上 8 卡方案的每 GPU 标价；同一页把 B200 写成 180 GB，NVIDIA 规格页是 192 GB，容量算术仍按 192 GB。RunPod 各档见 定价页。
一张卡连续开机按每月 730 小时：H100 SXM 的 Community 价是 2.69 × 730 ≈ $1,964，8 张是约 $15,710。同一台 8 卡若按 Lambda $3.99，约 $23,300；按 AWS $5.97，约 $34,865。工作日每天 12 小时、每月 22 天是 264 小时，一张 H100 Community 约 $710。
- 一个 70B FP8 副本：H100 上常用 2 张，Community 租金 2 × $2.69 = $5.38/小时。1 张 H200 是 $3.59，1 张 B200 是 $5.98。只为「放得下」付钱时，H200 这行更小。
- PCIe 更便宜，但别拿来给两张卡的 70B 报价：H100 PCIe Community 是 $1.99。张量并行更吃卡间带宽，多卡推理要对着实际互联报价，不能默认按 PCIe 小时价。
- 小模型不必上 H100：5090 Community $0.69/小时。工作日每天 8 小时、22 天是 176 小时，约 $121/月。32B 的 BF16 有 64 GB，32 GB 的 5090 放不下。
自建一台 8 卡服务器，先把三笔账分开
采购价没有 NVIDIA 的公开标价。2026 年的一份第三方行情指南把 8×H100 HGX 写在 $250,000–$320,000（AI Server Price Guide）。下面用中位 $285,000 做算术，并标明哪些行是假设。这不是发票，也不是我们的采购实测。
| 项目 | 假设 | 每 GPU·小时 | 8 卡一个月 |
|---|---|---|---|
| 资本，中位 $285,000 | 36 个月，残值 0，100% 日历 | $1.36 | — |
| 电力 | 8×700 W × 1.3，$0.12/kWh，全月开机 | $0.11 | 约 $638 |
| 机柜 | $1,000/月，仅为估算 | $0.17 | $1,000 |
| 合计 | 上面三行，100% 利用率 | $1.64 | — |
| RunPod H100 SXM Community | 公开标价，730 小时 | $2.69 | 约 $15,710 |
| Lambda 8 卡节点 | 公开标价，730 小时 | $3.99 | 约 $23,300 |
| AWS Capacity Block | 公开标价，730 小时 | $5.97 | 约 $34,865 |
资本一行：285,000 ÷ 8 = 每卡 $35,625；36 × 730 = 26,280 小时；35,625 ÷ 26,280 ≈ $1.36。电力按 H100 SXM 的 700 W TDP。8 张 GPU 本体 5.6 kW，整机按 1.3 倍估算 CPU、网卡和电源损耗，7.28 kW。7.28 × 730 × 0.12 ≈ $638/月。机柜 $1,000 是为了让固定成本里有一行，不是机房报价。人员、备件和 InfiniBand 都没进 $1.64。
- 采购区间：$250,000 时资本约 $1.19/GPU·小时，三行合计约 $1.47。$320,000 时资本约 $1.52，合计约 $1.80。
- 残值：若 36 个月后还能卖出原价的 30%，中位资本只摊 70%，约 $0.95。三行合计降到约 $1.23。
- B200 的电不是这一行：B200 整卡功耗更高，常见标到约 1000 W。8 卡节点的电费和机柜要按那一档重算，不能照抄 700 W。
- 两张卡的服务不要套 8 卡总价：只需要 2 张 H100 时，买一台 8 卡节点会让另外 6 张闲着。闲置按整机算进利用率。
自建更便宜的门槛，取决于你拿哪档云价来比
机器一直开着时，有用小时的成本大约是固定日历成本除以利用率。中位假设下就是 $1.64 ÷ 利用率。要低于 RunPod Community 的 $2.69，利用率要高于约 61%；低于 Lambda 的 $3.99，约 41%；低于 AWS 的 $5.97，约 27%。采购价取 $250,000 或 $320,000 时，对上 $2.69 的门槛大约是 55% 和 67%。残值按 30% 时，中位门槛降到约 46%。
利用率是这张卡在出 token 的小时，除以日历小时。买了 8 张却只让 2 张干活，整机利用率会掉到四分之一附近，自建算术会输给「按小时只租那两张」。对照对象若从 AWS 换成最便宜的社区云，买机器的理由要厚一倍。人员、网络和三个月后的转售价都会再挪这条线。
- 一个月真正跑不满一半：租。闲置的自有卡仍在折旧，云上的小时价停了就停。
- 模型尺寸还在变：租。8 卡节点的电力和机柜，锁的是你买下的那一代显存。
- 同一套卡大部分时间在出 token，而且数据不能出楼：用你自己的采购价和电价，把 $1.64 那一行换掉再比。能合法买到或租到这张卡，是另一件事，见下面的出口说明。
按模型选张数，再决定租还是买
四条都是账单情景，不是吞吐量承诺。第三方基准只在第三条出现，并且标明是他们的表。
- 8B 内部助手：1× RTX 5090 或 1× L40S。BF16 约 16 GB。Community 的 5090 按每月 176 小时约 $121。办公室里已经有机器时，买一张消费卡通常更直接。
- 对外的 70B FP8，只在工作日开：常用 2×H100。Community、每月 264 小时，两张约 $1,420。这还不是买一台 8 卡服务器的理由。若副本用 1×H200，小时价从 $5.38 降到 $3.59。
- 70B 要更长上下文或更高并发：常用 4×H100。E2E Networks 的基准文档里，Llama 3.1 70B、4×H100、短对话（大约各 128 token）一行是 3438 tokens/s。那是他们的表。你的提示更长，副本就更贵。
- 405B FP8 或约 671B：405 GB 放得进 8×H100 的 640 GB。671 GB 的 FP8 放不进，要 8×H200（8×141 GB ≈ 1,128 GB）或 16×H100。先过显存，再比较小时价。
卡能不能买到，和小时价是两行。出口限制下，中国主体不能把「在第三国放一台 H100」当成默认采购路径，见 美国限制 NVIDIA AI 芯片出口之后的算力。仓库、签名和常驻 Agent 也不该按 H100 小时计费，内存怎么配见 Mac mini AI Agent 服务器。
常见问题
8B、32B、70B 推理各要几张 GPU？
按显存算术：8B BF16 约 16 GB，一张 32 GB 卡即可。32B BF16 约 64 GB，H100 上常用 2 张，H200 或 B200 一张即可。70B FP8 约 70 GB，H100 常用 2 张；70B BF16 约 140 GB，H100 常用 4 张。这是容量，不是测速。
2026 年租一张 H100 多少钱？
2026-10-10 的公开标价：RunPod 上 H100 SXM Community $2.69/小时、Secure $3.29；Lambda 8 卡节点 $3.99；AWS Capacity Block 的 p5 加速器 $5.97。连续开机一个月，一张 Community 约 $1,964。
自建 8 卡服务器怎么摊到每小时？
第三方行情把 8×H100 写在 $250,000–$320,000。取中位 $285,000、36 个月、残值 0，资本约 $1.36/GPU·小时。再加估算电费 $0.11 和估算机柜 $0.17，100% 开机约 $1.64。人员和不间断网络另计。
利用率多高才值得买？
取决于对照的云价格。中位假设下，要对上 $2.69 大约需要 61% 的利用率，对上 $3.99 约 41%，对上 $5.97 约 27%。买了 8 张只用 2 张时，按整机算的利用率会把自建打回去。
只跑一个 70B，要不要买整台 8 卡？
通常不要。一个 FP8 副本在 H100 上常用 2 张，Community 租金 $5.38/小时；换成 1 张 H200 是 $3.59。8 卡节点的总价要等这 8 张大部分时间都在出 token，才有机会低于便宜的云小时价。
GPU 小时价只该买 token
H100 的 $2.69 买的是显存里的那一次生成。仓库、签名、工具调用和常驻 Agent 如果也租在同一张卡上，等待时间会按数据中心小时价计。把执行层放在一台不开盖的云端 Mac mini 上，推理仍走你已经选好的云 GPU 或 API。Apple Silicon 的统一内存适合小模型和编排，不代替 70B 的 HBM；低功耗则让这台控制面不必跟着 700 W 的卡一起开机。
先把 Agent 和推理的账单拆开，再决定 8 卡节点要不要买。 从云端 Mac mini 套餐看起