Важковики автономного навчання

Сімейство продуктов Blackwell від NVIDIA поповнили робочі станції DGX Station, наступний крок еволюції настільних систем навчання та інференсу великих моделей. Подібно до минулорічної появи DGX Spark NVIDIA просуває DGX Station як цілісну системну специфікацію. Дотримуючись її, виробничі партнери пропонуватимуть свої продукти на базі процесорів Grace/Blackwell. По суті, ідеться про AI-суперкомп’ютери на робочому столі.

Головна відмінність між етапними розробками — масштаб і цільове призначення. DGX Spark орієнтований на навчання, прототипування та дослідження. DGX Station — це інструмент для розробки складних AI-систем. Водночас між ними існує спадковість: обидві системи створені для співіснування у одній екосистемі AI, підтримують сучасні бібліотеки та забезпечують оптимізоване середовище для роботи з даними. DGX Station відповідає розвитку потреб у продуктивності, оснащується потужними графічними процесорами, великими обсягами оперативної пам’яті та оптимізованим програмним стеком.

Мінлива хмарність

Екосистема є основним чинником лідерства NVIDIA в AI-розробках. З точки зору пристроїв DGX Station посилює ланцюжок між лабораторіями і реальним світом, в якому працюють роботи, дрони, автономні авто. Незалежність від дата-центрів та хмарних обчислень важлива не лише на місці застосування AI (інференс, робота в реальному часі), а й там, де AI гартується. На чимось штибу DGX Spark створюватимуть прототипи, на DGX Station тренуватимуть складну модель (наприклад, комп’ютерного зору), а «в полі» працюватиме умовний Jetson. Центр (DGX) «мислить», край (Jetson) «діє».

Загальні риси DGX Station

NVIDIA DGX Station — це готова система розробника AI, яка включає GPU, великий обсяг оперативної пам’яті, швидке сховище даних, оптимізоване програмне середовище. Вона одразу готова до навчання нейронних мереж, роботи з великими наборами даних, досліджень комп’ютерного зору, наукових та інженерних задач. Її особливості полягають у високій продуктивності, автономності, оптимізації (узгодженості заліза із софтом), масштабованості (подальшої інтеграції з більшими системами).

NVIDIA не вперше пропонує «суперкомп’ютери у коробці». Старе покоління DGX Station A100 базувалося на архітектурі x86 CPU (EPYC / Xeon), містило 4 × A100 GPU із сукупною пам’ятю 320 ГБ HBM та 512 ГБ DDR4 RAM.

Нове покоління  DGX Station працює на одному суперчіпі (Grace ARM CPU/ Blackwell GPU) у єдиному адресному просторі пам’яті.  Це вже не сервер з GPU, а спеціалізована AI-машина, пам’ять якої дозволяє запускати величезні LLM локально без розподілення між CPU/GPU.

Помірна вартість (поки що кажуть про $130K) разом з компактною реалізацією можуть зробити DGX Station важливою ланкою між ідеєю та реальним застосуванням штучного інтелекту. «AI на столі замість AWS» стає спокусливою альтернативою для розробників.

Що всередині

Подивимося на специфікацію ASUS ExpertCenter Pro ET900N G3, одного з втілень DGX Station.

• Суперчіп NVIDIA GB300 Grace Blackwell містить CPU з 72 ARM-ядер Grace, Blackwell Ultra GPU та 748 ГБ когерентної пам'яті для великих робочих навантажень розробки та логічного висновку. Очікувана продуктивність до ~20 PFLOPS AI (FP4) дозволяє запускати моделі до 1 трлн параметрів.

• Пам’ять розподілена між CPU (496 ГБ LPDDR5X) та GPU (252 ГБ HBM3e)
• Масштабована архітектура працює на базі NVIDIA NVLink-C2C для надшвидкого (до 900 ГБ/с) зв'язку між пам'яттю центрального та графічного процесорів,
• Мережа NVIDIA ConnectX-8 зі швидкостями до 800 ГБ/с відповідає рівню кластерів провідних дата-центрів і дозволяє об'єднувати дві системи ASUS ExpertCenter Pro ET900N G3 у стек для забезпечення більшої ємності пам'яті та масштабованості моделі.

Демократизація AI

Локалізація обчислень має значно прискорити навчання моделей і обробку великих масивів даних. Зростання попиту на автономні розробки, масштабування та використання AI-технологій роздаст ролі усім: від компактних експериментальних платформ до потужних робочих станцій, здатних вирішувати складні завдання глибокого навчання без прив’язки до хмар.

Ця еволюція також відображає загальну тенденцію в галузі штучного інтелекту — демократизацію технологій. Те, що колись спиралось на послуги великих дата-центрів, поступово стає доступним на рівні окремого робочого місця. DGX Station фактично переносить потужність суперкомп’ютера ближче до користувача, зменшуючи затримки, підвищуючи ефективність роботи та відкриваючи нові можливості для інновацій.