Тяжеловесы автономного обучения

Семейство продуктов Blackwell от NVIDIA пополнили рабочие станции DGX Station, следующий шаг эволюции настольных систем обучения и инференса больших моделей. Подобно прошлогоднему появлению DGX Spark NVIDIA продвигает DGX Station как целостную системную спецификацию. Следуя ей, производственные партнеры будут предлагать свои продукты на базе процессоров Grace/Blackwell. По сути, речь идет об AI-суперкомпьютерах на рабочем столе.

Главное отличие между этапными разработками – масштаб и целевое назначение. DGX Spark ориентирован на обучение, прототипирование и исследование. DGX Station – это инструмент для разработки сложных AI-систем. В то же время, между ними есть наследственность: обе системы созданы для сосуществования в одной экосистеме AI, поддерживают современные библиотеки и обеспечивают оптимизированную среду для работы с данными. DGX Station отвечает развитию потребностей в производительности, оснащается мощными графическими процессорами, большими объемами оперативной памяти и оптимизированным программным стеком.

Облачно с прояснениями

Экосистема является главным фактором лидерства NVIDIA в AI-разработках. С точки зрения устройств DGX Station усиливает цепочку между лабораториями и реальным миром, в котором работают работы, дроны, автономные автомобили. Независимость от дата-центров и облачных вычислений важна не только на месте применения AI (инференс, работа в реальном времени), но и там, где AI закаляется. На чем-то вроде DGX Spark будут создавать прототипы, на DGX Station будут тренировать сложную модель (например, компьютерного зрения), а «в поле» будет работать условный Jetson. Центр (DGX) «мыслит» , край (Jetson) «действует».

Общие черты DGX Station

NVIDIA DGX Station – это готовая система разработчика AI, которая включает GPU, большой объем оперативной памяти, быстрое хранилище данных, оптимизированную программную среду. Она сразу готова к обучению нейронных сетей, работе с большими наборами данных, исследованиям компьютерного зрения, научным и инженерным задачам. Ее особенности состоят в высокой производительности, автономности, оптимизации (согласованности железа с софтом), масштабируемости (дальнейшей интеграции с большими системами).

NVIDIA не в первый раз предлагает «суперкомпьютеры в коробке». Старое поколение DGX Station A100 базировалось на архитектуре x86 CPU (EPYC/Xeon), содержало 4×A100 GPU с совокупной памятью 320 ГБ HBM и 512 ГБ DDR4 RAM.

Новое поколение DGX Station работает на одном суперчипе (Grace ARM CPU/Blackwell GPU) в едином адресном пространстве памяти. Это уже не сервер с GPU, а специализированная AI-машина, память которой позволяет запускать огромные LLM локально без распределения между CPU/GPU.

Умеренная стоимость (пока что говорят о $130K) вместе с компактной реализацией может сделать DGX Station важным звеном между идеей и реальным применением искусственного интеллекта. "AI на столе вместо AWS" становится соблазнительной альтернативой для разработчиков.

Что внутри

Посмотрим на спецификацию ASUS ExpertCenter Pro ET900N G3, одного из воплощений DGX Station.

• Суперчип NVIDIA GB300 Grace Blackwell содержит CPU с 72 ARM-ядерами Grace, Blackwell Ultra GPU и 748 ГБ когерентной памяти для больших рабочих нагрузок разработки и логического вывода. Ожидаемая производительность до ~20 PFLOPS AI (FP4) позволяет запускать модели до 1 трлн параметров.

• Память распределена между CPU (496 ГБ LPDDR5X) и GPU (252 ГБ HBM3e)
• Масштабируемая архитектура работает на базе NVIDIA NVLink-C2C для сверхбыстрой (до 900 ГБ/с) связи между памятью центрального и графического процессоров,
• Сеть NVIDIA ConnectX-8 со скоростями до 800 ГБ/с соответствует уровню кластеров ведущих дата-центров и позволяет объединять две системы ASUS ExpertCenter Pro ET900N G3 в стек для обеспечения большей емкости памяти и масштабируемости модели.

Демократизация AI

Локализация вычислений может существенно ускорить обучение моделей и обработку огромных массивов данных. Рост спроса на автономные разработки, масштабирование и использование AI-технологий раздаст роли всем: от компактных экспериментальных платформ до мощных рабочих станций, способных решать сложные задачи глубокого обучения без привязки к облакам.

Эта эволюция отражает общую тенденцию в области искусственного интеллекта — демократизацию технологий. То, что когда-то опиралось на услуги крупных дата-центров, становится доступным на уровне отдельного рабочего места. DGX Station фактически переносит мощность суперкомпьютера ближе к пользователю, уменьшая задержки, повышая эффективность работы и открывая новые возможности для инноваций.