H200 NVL, последняя прима модульных серверов
Развитие AI меняет вычислительную базу бешеными темпами. Модульная архитектура NVIDIA MGX для серверов с ускорителями была презентована три года назад. В позапрошлом году мир увидел первые многографические системы на старших на тот момент PCIe-ускорителях H200 NVL архитектуры Hopper с 141ГБ HBM3e. В одном сервере может устанавливаться восемь таких GPU. Четыре карты, соединенные 4-way NVLink, образуют общий пул из 564. ГБ HBM3e и обеспечивают пропускную способность обмена между GPU до 1,8 ТБ/с без дополнительной коммутации .
Современным предназначением серверов multi-GPU с дискретными ускорителями на шине PCIe NVIDIA считает агентный AI, визуальные вычисления, моделирование, работу с малыми и средними LLM. Называя этот класс систем RTX PRO AI Factory, NVIDIA предлагает для него профессиональные ускорители Blackwell с памятью GDDR7, в частности флагманские RTX PRO 6000 Blackwell Server Edition с 96 ГБ GDDR7 ECC.
Для высокопроизводительных масштабируемых AI систем NVIDIA продвигает платформу HGX B200 на базе архитектуры Blackwell с памятью HBM3e. HGX-системы поставляются как цельные серверы – в отличие от модульных MGX на универсальных PCIe-картах, которые производитель может комбинировать с серверной платформой по своему усмотрению. Специализированная базовая плата HGX содержит восемь мощных GPU форм-фактора SXM , объединенных NVLink 5 через коммутаторы NVSwitch.
HGX оставляет меньше пространства для произвольной конфигурации, выдвигая высокие требования ко всей инфраструктуре - CPU, сети, питание, охлаждение и системное управление. Именно здесь начинается территория крупных AI-фабрик с дорогим входным билетом.
H200 NVL на архитектуре Hopper может казаться уходящей натурой. В то же время, это последняя возможность сочетать относительную свободу конфигурации PCIe с преимуществами большой памяти HBM3e, объединив до четырех ускорителей PCIe в высокоскоростной NVLink-домен. Не передовая AI-платформа, но и не отсталая. Это зрелый компромисс, экономическая целесообразность которого определяется ценой и конкретной нагрузкой.
Классовое неравенство
Итак, NVIDIA HGX B200 имеет:
- 8 × NVIDIA B200
- 180 ГБ HBM3e на каждый GPU
- 8×180 ГБ = 1,440 ГБ вместе
- NVLink 5 с NVSwitch на все 8 GPU
"Аналогичный" сервер с H200 NVL:
- До 8× NVIDIA H200 NVL
- 141 ГБ HBM3e на каждый GPU
- 8×141 ГБ = 1,128 ГБ вместе
- Два NVLink-домены по 4 GPU в каждом
Сервер класса RTX PRO AI Factory:
- До 8× NVIDIA RTX PRO 6000 Blackwell
- 96 ГБ GDDR7 на каждый GPU
- 8×96 ГБ = 768 ГБ вместе
- Все обмены между GPU – по шине PCIe Gen 5
В отличие от HGX, MGX системы можно конфигурировать с меньшим количеством GPU.
А что по ценам?
Смету решения HGX B200 трудно оценить – такие серверы не продаются покомпонентно, а ценовая политика вендоров готовых систем закрыта, зависит от масштаба закупок. Встречаются единичные предложения базовых плат HGX B200 в диапазоне $450-600K. Что с ними делать дальше, неясно, но в качестве ценового ориентира эту стоимость можно принять. Вероятно, полноценный сервер HGX B200, оснащенный центральными процессорами, оперативной памятью и накопителями, будет стоить ближе к $1M.
Серверная платформа с восемью H200 NVL, без CPU, RAM и накопителей, обходится в $300-350K. Такая же платформа с восемью RTX PRO 6000 SE – в $150-200K.
Полноценный сервер с четырьмя H200 NVL стоит от $250K.
Вывод
NVIDIA позиционирует многографические серверы на PCIe-ускорителях RTX PRO 6000 Blackwell Server Edition как универсальную платформу для рядовых корпоративных AI-приложений – от LLM-инференса и AI-агентов до визуальных вычислений, научных задач и моделирования.
Если есть миллион долларов и соответствующие нагрузки, можно присматриваться к передовым системам класса HGX B200 – это уже инфраструктура для масштабных AI-вычислений с совершенно другими требованиями к сети, питанию и охлаждению.
H200 NVL сочетает в себе высокую производительность инференса и обучения моделей с возможностью постепенного наращивания GPU-конфигурации.