AI 추론에 GPU는 몇 장：2026 클라우드 임대와 자체 구축 비용

핵심 사실

장수를 가르는 첫 기준은 메모리입니다. 8B를 BF16으로 두면 약 16 GB라 32 GB 카드 한 장이면 됩니다. 70B BF16은 약 140 GB이고, H100에서 KV 여유까지 보면 보통 4장입니다.
2026-10-10 공개 시간 요금에서 H100 SXM은 RunPod Community $2.69에서 AWS Capacity Block $5.97까지 벌어집니다. 같은 카드라도 청구서는 두 배 가까이 달라집니다.
자체 구축 계산은 제3자 시세 중간값 $285,000(8×H100)을 36개월, 잔존가치 0으로 나눈 것입니다. 달력 시간의 100%를 켜 두면 전력과 랙 추정을 포함해 GPU·시간당 약 $1.64입니다. $2.69보다 싸지려면 가동률이 대략 60%는 넘어야 합니다.
70B FP8 복제본 하나만 산다면 H200 한 장(Community $3.59)이 H100 두 장($5.38)보다 쌉니다. 먼저 「복제본 하나에 몇 장인지」를 비교하고, 그다음 섀시를 봅니다.

데이터홀의 서버 랙. 클라우드 GPU 임대와 자체 AI 서버가 같이 쓰는 장비 — 추론 청구서는 이 랙에 카드를 몇 장 넣는지, 그리고 그 카드가 한 달에 몇 시간 토큰을 내보내는지로 시작합니다.

메모리가 장수를 정하고, 동시 요청이 복제본 수를 정한다

「AI 추론에 GPU가 몇 장 필요한가」는 가중치가 들어가는지부터입니다. 가중치는 대략 파라미터 수(십억) × 파라미터당 바이트입니다. BF16과 FP16은 2, FP8은 1, INT4는 약 0.5입니다. 8B BF16은 약 16 GB, 32B는 약 64 GB, 70B는 약 140 GB, 405B FP8은 약 405 GB입니다. KV 캐시는 따로라서, 「가중치가 겨우 들어간다」와 「요청 여러 개를 동시에 받는다」는 장수가 다릅니다.

H100 SXM은 HBM3 80 GB, H200은 HBM3e 141 GB, HGX B200 사양 페이지는 GPU당 HBM3e 192 GB입니다. 표의 왼쪽은 가중치를 담는 최소 장수, 오른쪽은 KV를 남기고 1·2·4·8로 맞춘 보통 장수입니다. 용량 산수이지, 우리가 잰 처리량이 아닙니다.

모델	정밀도	가중치	H100 80GB	H200 141GB	B200 192GB
7–8B	BF16	16 GB	1 / 1	1 / 1	1 / 1
32B	BF16	64 GB	1 / 2	1 / 1	1 / 1
70B	FP8	70 GB	1 / 2	1 / 1	1 / 1
70B	BF16	140 GB	2 / 4	1 / 2	1 / 2
405B	FP8	405 GB	8 / 8	4 / 4	4 / 4
약 671B MoE	FP8	671 GB	16(8장으로는 부족)	8 / 8	4 / 8

칸은 「가중치가 들어가는 장수 / KV를 남긴 보통 장수」입니다. 70B BF16을 H100 두 장에 올리면 160 GB 중 140 GB를 써서 KV는 약 20 GB만 남습니다. 외부 서비스는 보통 4장입니다. H200 한 장은 141 GB라 140 GB BF16 가중치에 KV가 거의 남지 않습니다. 보통은 여전히 2장입니다. 약 671B MoE(DeepSeek-R1 급)는 전체 파라미터로 메모리를 차지합니다. 활성 파라미터는 연산량이지, 들어가는지를 정하지 않습니다. 8×H100은 640 GB뿐이라 671 GB FP8 가중치는 들어가지 않습니다.

사내용 8B: RTX 5090(32 GB) 또는 L40S(48 GB) 한 장이면 BF16이 들어갑니다. 데이터센터 8장으로 예산을 잡을 필요가 없습니다.
32B BF16: 64 GB를 80 GB H100에 넣으면 긴 컨텍스트의 KV가 금방 찹니다. 보통 2장입니다. H200과 B200은 한 장에 여유가 있습니다.
복제본은 따로: 표는 모델 한 벌입니다. 토큰이 두 배면 같은 크기의 복제본을 하나 더 둡니다. 정밀도를 말로 올리는 일이 아닙니다.

2026-10-10 클라우드 GPU 시간 요금

아래는 그날 공개된 세 페이지의 온디맨드 또는 용량 블록 표시 가격입니다. 단위는 GPU·시간당 미국 달러입니다. Community와 Secure, 한 장 슬라이스와 8장 노드를 하나의 「시세」로 합치지 마세요. 기업 할인과 스팟은 표에 없습니다.

GPU	RunPod Community	RunPod Secure	Lambda 8장 노드	AWS Capacity Block
H100 SXM 80GB	$2.69	$3.29	$3.99	$5.97
H100 PCIe 80GB	$1.99	$2.89	—	—
H200	$3.59	$4.59	셀프서브에 없음	이 글에서는 인용하지 않음
B200	$5.98	$6.79	$6.69	이 글에서는 인용하지 않음
L40S 48GB	$0.79	$0.99	—	—
RTX 5090 32GB	$0.69	$0.99	—	—

AWS 칸은 Capacity Blocks 가격 페이지입니다. US East(N. Virginia)의 p5.48xlarge(8×H100)는 인스턴스 시간당 $47.757, 가속기당 $5.970입니다. Lambda의 $3.99와 $6.69는 instances 페이지 8장 플랜의 GPU당 표시 가격입니다. 그 페이지의 B200은 180 GB, NVIDIA 사양은 192 GB입니다. 용량 계산은 192 GB를 유지합니다. RunPod 구간은 요금 페이지에 있습니다.

카드 한 장을 한 달 730시간 켜 두면 H100 SXM Community는 2.69 × 730 ≈ $1,964, 여덟 장은 약 $15,710입니다. 같은 여덟 장을 Lambda $3.99로 보면 약 $23,300, AWS $5.97이면 약 $34,865입니다. 평일 하루 12시간, 한 달 22일은 264시간이라 H100 Community 한 장이 약 $710입니다.

70B FP8 복제본 하나: H100에서는 보통 2장입니다. Community 임대는 2 × $2.69 = 시간당 $5.38. H200 한 장은 $3.59, B200 한 장은 $5.98입니다. 「들어가게」만 돈을 낸다면 H200 줄이 더 작습니다.
PCIe는 싸지만, 두 장짜리 70B 견적에는 쓰지 않습니다: H100 PCIe Community는 $1.99입니다. 텐서 병렬은 카드 사이 대역을 탑니다. 여러 장 복제본은 실제로 붙는 인터커넥트 가격으로 적으세요.
작은 모델에 H100은 필요 없습니다: 5090 Community는 시간당 $0.69입니다. 평일 8시간 × 22일은 176시간, 약 월 $121입니다. 32B BF16은 64 GB라 32 GB 5090에 들어가지 않습니다.

자체 8장 서버는 세 줄을 나눠 본다

섀시에 NVIDIA 공개 정가는 없습니다. 2026년 제3자 시세 가이드는 8×H100 HGX를 $250,000–$320,000으로 적습니다(AI Server Price Guide). 아래는 중간값 $285,000으로 한 산수이고, 가정인 줄은 가정이라고 적습니다. 청구서도, 우리가 사서 잰 숫자도 아닙니다.

항목	가정	GPU·시간	8장, 한 달
자본, 중간값 $285,000	36개월, 잔존 0, 달력의 100%	$1.36	—
전력	8×700 W × 1.3, $0.12/kWh, 한 달 내내 가동	$0.11	약 $638
랙	월 $1,000, 추정용	$0.17	$1,000
합계	위 세 줄, 가동률 100%	$1.64	—
RunPod H100 SXM Community	표시 가격, 730시간	$2.69	약 $15,710
Lambda 8장 노드	표시 가격, 730시간	$3.99	약 $23,300
AWS Capacity Block	표시 가격, 730시간	$5.97	약 $34,865

자본 줄: 285,000 ÷ 8 = 장당 $35,625. 36 × 730 = 26,280시간. 35,625 ÷ 26,280 ≈ $1.36. 전력은 H100 SXM TDP 700 W입니다. GPU 여덟 장 본체는 5.6 kW. CPU, NIC, 전원 손실을 1.3배로 보면 7.28 kW. 7.28 × 730 × 0.12 ≈ 월 $638. 랙 $1,000은 고정비에 한 줄을 넣기 위한 숫자이지 코로케이션 견적이 아닙니다. 인건비, 예비 부품, InfiniBand는 $1.64 밖입니다.

구매 구간: $250,000이면 자본은 GPU·시간당 약 $1.19, 세 줄 합은 약 $1.47입니다. $320,000이면 자본은 약 $1.52, 합은 약 $1.80입니다.
잔존가치: 36개월 뒤 취득가의 30%에 팔린다면 중간값의 70%만 상각해 약 $0.95입니다. 세 줄 합은 약 $1.23까지 내려갑니다.
B200 전력은 이 줄이 아닙니다: B200 보드 전력은 흔히 약 1000 W까지 적힙니다. 8장 노드의 전기와 랙은 그 세대로 다시 계산하세요. 700 W를 베끼지 마세요.
두 장짜리 서비스에 8장 총액을 씌우지 마세요: H100이 두 장이면 8장 노드는 여섯 장이 놀게 됩니다. 유휴는 섀시 전체 가동률에 들어갑니다.

자체 구축이 싸지는 선은, 어느 클라우드 요금과 비교하느냐에 달렸다

서버를 계속 켜 두면, 실제로 쓴 한 시간의 비용은 대략 고정된 달력 비용을 가동률로 나눈 값입니다. 중간값 가정에서는 $1.64 ÷ 가동률입니다. RunPod Community $2.69보다 싸려면 약 61%, Lambda $3.99는 약 41%, AWS $5.97은 약 27%입니다. 구매가가 $250,000 또는 $320,000이면 $2.69와 비교한 선은 대략 55%와 67%입니다. 잔존 30%면 중간값 선은 약 46%까지 내려갑니다.

가동률은 그 카드가 토큰을 내보낸 시간을 달력 시간으로 나눈 것입니다. 여덟 장을 사고 두 장만 돌리면 섀시 전체 가동률은 4분의 1 근처로 떨어지고, 자체 구축 산수는 「그 두 장만 시간당으로 빌리는 것」에 집니다. 비교 대상을 AWS에서 가장 싼 커뮤니티 클라우드로 바꾸면, 사는 이유는 대략 두 배 두꺼워야 합니다. 사람, 네트워크, 3년 뒤 매각 가격도 이 선을 움직입니다.

한 달의 반도 돌지 않는다: 빌리세요. 노는 자체 카드도 감가상각됩니다. 클라우드 시간 요금은 끈 순간부터 멈춥니다.
모델 크기가 아직 움직인다: 빌리세요. 8장 노드의 전력과 랙은 산 세대의 메모리에 고정됩니다.
같은 카드가 하루 대부분 토큰을 내고, 데이터는 건물 밖으로 나갈 수 없다: $1.64 줄을 자신의 구매가와 전기요금으로 바꾼 뒤 다시 비교하세요. 그 SKU를 합법적으로 사거나 빌릴 수 있는지는 다른 질문입니다. 수출 설명은 아래에 있습니다.

모델로 장수를 정한 다음, 빌릴지 살지 정한다

네 줄 모두 청구 시나리오이지 처리량 약속이 아닙니다. 제3자 벤치마크는 세 번째에만 나오고, 그들의 표라고 적혀 있습니다.

사내 8B 도우미: RTX 5090 또는 L40S 한 장. BF16은 약 16 GB. Community 5090을 월 176시간이면 약 $121입니다. 사무실에 기계가 이미 있으면 소비자 카드 한 장을 사는 편이 곧습니다.
외부용 70B FP8, 평일에만: 보통 2×H100. Community, 월 264시간이면 두 장이 약 $1,420. 이것만으로 8장 서버를 살 이유는 아닙니다. 복제본을 H200 한 장으로 바꾸면 시간 요금이 $5.38에서 $3.59로 내려갑니다.
70B에서 컨텍스트를 늘리거나 동시 요청을 늘린다: 보통 4×H100입니다. E2E Networks 벤치마크 문서에서 Llama 3.1 70B, 4×H100, 짧은 대화(입출력 약 128토큰) 한 줄은 3438 tokens/s입니다. 그들의 표입니다. 프롬프트가 길면 복제본은 더 비쌉니다.
405B FP8 또는 약 671B: 405 GB는 8×H100의 640 GB에 들어갑니다. 671 GB FP8은 들어가지 않습니다. 8×H200(8×141 GB ≈ 1,128 GB) 또는 16×H100이 필요합니다. 시간 요금 전에 메모리를 통과하세요.

카드를 살 수 있는지와 한 시간 가격은 다른 줄입니다. 수출 제한 아래에서 중국에 본사를 둔 주체가 「제3국에 H100 한 대」를 기본 조달로 두면 안 됩니다. 미국 NVIDIA 수출 제한 이후의 연산을 보세요. 저장소, 서명, 상주 에이전트를 H100 시간으로 낼 이유도 없습니다. 그 메모리는 Mac mini AI 에이전트 서버에 있습니다.

자주 묻는 질문

8B, 32B, 70B 추론에는 GPU가 몇 장?

메모리 산수로 보면 8B BF16은 약 16 GB라 32 GB 카드 한 장입니다. 32B BF16은 약 64 GB라 H100은 보통 2장, H200이나 B200은 한 장입니다. 70B FP8은 약 70 GB라 H100 보통 2장, 70B BF16은 약 140 GB라 H100 보통 4장입니다. 용량이지 속도 측정이 아닙니다.

2026년에 H100 한 장을 빌리면 얼마?

2026-10-10 표시 가격은 RunPod H100 SXM Community 시간당 $2.69, Secure $3.29, Lambda 8장 노드 $3.99, AWS Capacity Block p5 가속기 $5.97입니다. 한 달 내내 켜 두면 Community 한 장이 약 $1,964입니다.

자체 8장 서버를 시간당 비용으로 어떻게 나누나?

제3자 가이드는 8×H100을 $250,000–$320,000으로 적습니다. 중간값 $285,000, 36개월, 잔존 0이면 자본은 GPU·시간당 약 $1.36입니다. 추정 전력 $0.11과 추정 랙 $0.17을 더하면 100% 가동에 약 $1.64입니다. 사람과 전용 네트워크는 별도입니다.

가동률이 얼마나 되어야 사는 편이 싼가?

비교하는 클라우드 요금에 달립니다. 중간값 가정에서 $2.69를 이기려면 약 61%, $3.99는 약 41%, $5.97은 약 27%입니다. 여덟 장을 사고 두 장만 쓰면 섀시 전체 가동률이 자체 구축을 다시 손해가 되게 합니다.

70B 하나만 돌리는데 8장 노드를 사야 하나?

보통은 아닙니다. FP8 복제본 하나는 H100에서 보통 2장, Community로 시간당 $5.38입니다. H200 한 장이면 $3.59입니다. 8장 구매가 싼 시간 요금보다 낮아지려면, 그 여덟 장의 대부분이 대부분의 시간 토큰을 내고 있어야 합니다.