Сколько GPU нужно для инференса ИИ: облако или свой сервер в 2026

Память задаёт число карт, параллелизм — число реплик

Вопрос «сколько GPU нужно для инференса ИИ» начинается с того, влезают ли веса. Веса — это примерно число параметров в миллиардах, умноженное на байты на параметр: 2 для BF16 или FP16, 1 для FP8, около 0,5 для INT4. 8B в BF16 — около 16 ГБ, 32B — около 64 ГБ, 70B — около 140 ГБ, 405B в FP8 — около 405 ГБ. Кэш KV считается отдельно. «Веса едва влезли» и «несколько запросов идут сразу» — разное число GPU.

H100 SXM — это 80 ГБ HBM3, H200 — 141 ГБ HBM3e, на странице HGX B200 указано 192 ГБ HBM3e на GPU. Слева в таблице минимум, чтобы удержать веса. Справа обычное число с запасом под KV, округлённое до 1, 2, 4 или 8. Это арифметика ёмкости, а не замер пропускной способности, который мы проводили.

Ячейка читается как «веса влезают / обычное число с запасом KV». 70B в BF16 на двух H100 кладёт 140 ГБ в 160 ГБ, под KV остаётся около 20 ГБ. Публичный сервис обычно берёт 4 карты. Один H200 — это 141 ГБ, для этих весов BF16 кэша почти не остаётся, обычное число всё ещё 2. MoE около 671B (класс DeepSeek-R1) занимает память по полному числу параметров. Активные параметры меняют вычисления, а не то, влезут ли веса. Восемь H100 — только 640 ГБ, этого мало для 671 ГБ весов FP8.

• Внутренний инструмент на 8B: одна RTX 5090 (32 ГБ) или одна L40S (48 ГБ) держит BF16. Не закладывайте бюджет датацентрового узла на 8 карт.
• 32B в BF16: 64 ГБ внутри H100 на 80 ГБ оставляют мало KV, когда контекст растёт. Обычная раскладка — 2 карты. У одного H200 или B200 запас ещё есть.
• Реплики отдельно: таблица — одна копия модели. Вдвое больше токенов значит ещё одну реплику того же размера, а не устное повышение точности.

Почасовые цены облачных GPU на 10 октября 2026

Цифры ниже — прайс on-demand или блока ёмкости с трёх публичных страниц в тот день, в долларах за GPU-час. Community и Secure, срез на одну карту и узел на 8 GPU не склеиваются в одну «рыночную цену». Скидки для крупных заказчиков и спот в таблицу не входят.

Ячейка AWS взята со страницы цен Capacity Blocks: p5.48xlarge (8×H100) в US East (Северная Виргиния) стоит $47.757 за час инстанса, или $5.970 за ускоритель. $3.99 и $6.69 у Lambda — это цена за GPU на планах из 8 карт на странице instances. Там B200 указан как 180 ГБ, на странице NVIDIA — 192 ГБ. Расчёт ёмкости остаётся на 192 ГБ. Уровни RunPod — на странице цен.

Карта, включённая 730 часов в месяц: H100 SXM по Community — 2,69 × 730 ≈ $1 964, восемь карт — около $15 710. Те же восемь карт по $3.99 у Lambda — около $23 300, по $5.97 у AWS — около $34 865. Двенадцать часов в рабочий день, 22 дня — это 264 часа: один H100 на Community около $710.

• Одна реплика 70B FP8: на H100 обычно 2 карты. Аренда Community: 2 × $2.69 = $5.38 в час. Один H200 — $3.59. Один B200 — $5.98. Если платите только за то, чтобы модель влезла, строка H200 меньше.
• PCIe дешевле, и это неверная цена для 70B на двух картах: H100 PCIe Community — $1.99. Тензорный параллелизм зависит от связи между картами. Реплику на нескольких GPU считайте по тому интерконнекту, который реально получите.
• Маленькой модели H100 не нужен: 5090 на Community — $0.69 в час. Восемь часов в 22 рабочих дня — 176 часов, около $121 в месяц. 32B в BF16 — это 64 ГБ, на 5090 с 32 ГБ не влезает.

Свой сервер на 8 GPU — это три отдельные строки

У NVIDIA нет открытой розничной цены корпуса. Сторонний обзор рынка 2026 года ставит систему 8×H100 HGX в диапазон $250 000–$320 000 (AI Server Price Guide). Ниже взят середина $285 000, и каждая гипотеза подписана. Это не счёт и не закупка, которую мы измеряли.

Строка капитала: 285 000 ÷ 8 = $35 625 на карту; 36 × 730 = 26 280 часов; 35 625 ÷ 26 280 ≈ $1.36. Электричество берёт TDP H100 SXM в 700 Вт. Восемь GPU — 5,6 кВт до остального узла. Коэффициент 1,3 закрывает CPU, сетевые карты и потери БП, это 7,28 кВт. Дальше 7,28 × 730 × 0,12 ≈ $638 в месяц. Тысяча долларов за стойку нужна, чтобы у постоянных затрат была строка; это не коммерческое предложение колокации. Люди, запчасти и InfiniBand в $1.64 не входят.

• Диапазон закупки: при $250 000 капитал около $1.19 за GPU-час, три строки около $1.47. При $320 000 капитал около $1.52, сумма около $1.80.
• Остаточная стоимость: если через 36 месяцев корпус ещё продаётся за 30 %, амортизируется 70 % середины, около $0.95. Три строки падают примерно до $1.23.
• Электричество B200 — не эта строка: плату B200 часто указывают до примерно 1000 Вт. Свет и стойку для такого узла пересчитайте. Не копируйте 700 Вт.
• Не вешайте сервис на двух картах на цену восьми: если нужны две H100, узел на восемь оставляет шесть простаивать. Простой входит в загрузку всей машины.

Свой сервер выигрывает только у той облачной цены, с которой его сравнивают

Если сервер остаётся под питанием, стоимость полезного часа — это примерно постоянные календарные затраты, делённые на загрузку. На средних допущениях это $1.64 ÷ загрузка. Чтобы быть ниже RunPod Community за $2.69, нужно около 61 %. Ниже Lambda за $3.99 — около 41 %. Ниже AWS за $5.97 — около 27 %. При закупке за $250 000 или $320 000 порог против $2.69 — около 55 % и 67 %. Остаток в 30 % опускает средний порог примерно до 46 %.

Загрузка — это часы, когда карта выдаёт токены, делённые на часы календаря. Восемь карт, из которых работают две, опускают загрузку всего узла к четверти, и свой сервер проигрывает почасовой аренде именно этих двух. Если сравнение переносится с AWS на самое дешёвое community-облако, причина покупать должна быть примерно вдвое сильнее. Люди, сеть и цена перепродажи через три года снова двигают линию.

• Машина занята меньше половины месяца: арендуйте. Своя карта амортизируется и в простое. Облачный час заканчивается, когда вы его останавливаете.
• Размер модели ещё меняется: арендуйте. Питание и стойка узла на 8 GPU зафиксированы на том поколении памяти, которое вы купили.
• Те же карты большую часть дня выдают токены, и данные нельзя выносить из здания: замените строку $1.64 своей ценой закупки и своим тарифом на электричество, потом сравнивайте снова. Можно ли законно купить или арендовать эту модель — отдельный вопрос. Заметка про экспорт ниже.

Сначала число карт под модель, потом аренда или покупка

Четыре строки — сценарии счёта, а не обещание пропускной способности. Чужой бенчмарк есть только в третьей, и он помечен как их таблица.

• Внутренний ассистент на 8B: одна RTX 5090 или одна L40S. BF16 — около 16 ГБ. 5090 на Community за 176 часов в месяц — около $121. Если машина в офисе уже стоит, одна потребительская карта обычно прямой путь.
• Публичный сервис 70B FP8, только по будням: обычно 2×H100. По Community и 264 часам две карты — около $1 420 в месяц. Это ещё не причина покупать сервер на 8 GPU. Реплика на одном H200 переводит час с $5.38 на $3.59.
• 70B с более длинным контекстом или большей параллельностью: обычная раскладка — 4×H100. В документации бенчмарков E2E Networks Llama 3.1 70B на 4×H100 для короткого чата (около 128 токенов в каждую сторону) указана как 3 438 токенов/с. Это их таблица. Более длинный промпт делает реплику дороже.
• 405B FP8 или около 671B: 405 ГБ влезают в 640 ГБ у 8×H100. 671 ГБ FP8 — нет. Нужны 8×H200 (8×141 ГБ ≈ 1 128 ГБ) или 16×H100. Сначала память, потом почасовые цены.

Можно ли купить карту и сколько стоит час — две разные строки. При экспортных правилах компания с штаб-квартирой в Китае не должна считать «H100 в третьей стране» закупкой по умолчанию. См. вычисления после экспортных ограничений США на NVIDIA. Репозиторий, подпись и постоянно живущий агент тоже не стоит оплачивать часами H100. Память для этой работы — в руководстве по Mac mini как серверу ИИ-агента.

Вопросы

Сколько GPU нужно для инференса 8B, 32B и 70B?

По арифметике памяти: 8B в BF16 — около 16 ГБ, значит одна карта на 32 ГБ. 32B в BF16 — около 64 ГБ, обычно 2 H100 или один H200 либо B200. 70B в FP8 — около 70 ГБ, обычно 2 H100. 70B в BF16 — около 140 ГБ, обычно 4 H100. Это ёмкость, а не замер скорости.

Сколько стоит аренда H100 в 2026 году?

Прайс на 10 октября 2026: H100 SXM на RunPod — $2.69 Community и $3.29 Secure, узел Lambda на 8 GPU — $3.99, ускоритель p5 в AWS Capacity Block — $5.97. Если карта включена месяц, один Community стоит около $1 964.

Как свой сервер на 8 GPU становится ценой часа?

Сторонний обзор ставит 8×H100 в $250 000–$320 000. Середина $285 000 за 36 месяцев без остатка — около $1.36 капитала на GPU-час. Плюс оценка электричества $0.11 и стойки $0.17: при 100 % работы около $1.64. Люди и частная сеть — сверху.

При какой загрузке покупка дешевле?

Это зависит от облачной цены, с которой сравнивают. На средних допущениях, чтобы обыграть $2.69, нужно около 61 % загрузки, $3.99 — около 41 %, $5.97 — около 27 %. Если купить восемь карт и использовать две, загрузка всего узла снова делает владение убыточным.

Один сервис 70B: покупать целый узел на 8 GPU?

Обычно нет. Одна реплика FP8 на H100 — это обычно 2 карты, аренда Community $5.38 в час, или один H200 за $3.59. Покупка 8 GPU обгоняет дешёвый облачный час только когда большинство этих восьми карт большую часть времени выдаёт токены.