NVIDIA H200 та молодші погоничі штучного інтелекту

Флагманський процесор NVIDIA B200 на новітній архітектурі Blackwell має вражаючі показники продуктивності. На фермах таких прискорювачів навчають моделі з трильйонами параметрів. І водночас наближають «кінець світла» - аналітики кажуть, у найближчому майбутньому американські дата-центри для ШІ споживатимуть більше електроенергії, ніж виробництво сталі, цементу, хімікатів та всіх інших енергомістких товарів разом узятих. Ще більш вражають інженерні системи супроводу таких «фабрик ШІ»: розгалужені системи електропостачання, рідинне охолодження, кластерна та трубопровідна інфраструктура.

Щаблем нижче у екосистемі NVIDIA стоїть H200 - професійна графічна карта на архітектурі Hopper зі 141 ГБ високошвидкісної пам’яті  HBM3e. Вона доступна у форм-факторах PCIe та SXM – останній забезпечує вищу пропускну здатність у конфігураціях з кількома GPU (наприклад, у збірках  NVIDIA DGX). На відміну від B200, cервери з H200 легше інтегруються у стандартні дата-центри: вони монтуються у традиційні стійки та охолоджуються повітрям. Хоча PCIe-версія NVIDIA H200 NVL поступається SXM-версії в продуктивності, вона зручніша для масштабованих конфігурацій з кількох GPU. За допомогою NVlink можна об’єднувати дві або чотири H200 NVL у високошвидкісний кластер або збільшувати доступну пам’ять для розміщення LLM. Підтримується технологія Multi-Instance GPU (MiG) – поділ одного GPU на кілька ізольованих екземплярів з власними ресурсами.

Основною «робочою конячкою» індустрії ШІ залишається H100, також на архітектурі Hopper. Вона подібна до H200 за більшістю характеристик та ціною (близько $40K), але має менше пам’яті - 94 ГБ HBM3, споживає менше енергії й має скромніші вимоги до серверної платформи.

Інший завсідник серверів графічних обчислень - L40S на архітектурі Ada Lovelace. Він має 48 ГБ памʼяті GDDR6 і коштує вчетверо дешевше за H100/H200. При порівняно нижчій продуктивності його часто обирають через вигідне співвідношення «ціна-продуктивність». Наприклад, для завдань логічного висновку у відеоаналітиці, які менш чутливі до розміру та пропускної здатності пам’яті, ніж навчання LLM. Проте L40S не підтримує NVlink і MiG.

Влітку на сцену вийде RTX PRO 6000 Server Edition (SE) на архітектурі Blackwell. Карта коштуватиме втричі дешевше за H100/H200, матиме 96 ГБ GDDR7, не підтримуватиме NVLink, але включатиме підтримку MiG, що розширює можливості у багатокористувацьких середовищах.

Порівнювати прискорювачі виключно за вибірковими табличними показниками – сумнівна справа. Все залежить від специфіки завдань. Найкращий варіант для тих, хто не визначився - тест-драйв наявної моделі обчислень на різних GPU. Таку послугу надають хмарні оператори, зокрема De Novo.

Платформи-компаньйони

Для розгортання сучасних графічних прискорювачів дата-центри використовують спеціалізовані серверні платформи з підтримкою кількох GPU, високою обчислювальною щільністю. Усі провідні виробники серверного обладнання мають лінійки GPU-платформ. NVIDIA як виробник прискорювачів підтримує партнерську екосистему та регулярно оновлює перелік кваліфікованих серверних платформ, рекомендованих для конкретних поколінь GPU. Такий каталог дає змогу швидко знайти оптимальне апаратне рішення з гарантованою сумісністю.

З кожним новим поколінням графічні процесори стають потужнішими — і, відповідно, більш вимогливими до енергоживлення й охолодження. У майбутньому рідинне охолодження стане нормою не лише для гіперскейлерів, а й для звичайних операторів інфраструктури. Поки що вдається використовувати повітряне, хоча й на межі його ефективності.

Одним із прикладів сертифікованої платформи під NVIDIA H200 NVL (а також RTX PRO 6000 SE) є сервер ASUS ESC8000A-E13P — рішення з високою щільністю GPU, підтримкою масштабованих конфігурацій і адаптованим охолодженням для важких навантажень.

Кесареве - кесареві

Місцеві компанії та хмарні провайдери не беруть участі у перегонах світових богів ШІ, однак і не пасуть задніх. Вони використовують посильну обчислювальну  базу для вирішення локальних завдань, раціонально і ефективно. У найближчому майбутньому в наших умовах найпоширенішими інструментами для навчання моделей, генерації контенту та інференсу буде таке спорядження NVIDIA:

• L40S – популярне універсальне рішення для задач інференсу та базового навчання нейромереж
• RTX PRO 6000 поступово витіснятиме L40S у нових проектах завдяки збільшеному обсягу відеопам’яті (96 ГБ GDDR7)
• H100 NVL  і далі купуватимуть для масштабування існуючих інфраструктур
• H200 NVL – беззаперечний лідер: більше пам'яті, вища пропускна здатність, підтримка масштабованих конфігурацій. Ідеальний вибір для важких LLM.

Купувати власний GPU-сервер чи орендувати «хмаринку», кожен бізнес вирішує самостйіно.