Крой рабочих AI-станций

Пока большая AI-индустрия двигается от универсальных GPU к специализированным AI-акселераторам, на рабочих столах простого люда все еще трудятся типовые x86-компьютеры с NVIDIA GPU.

На выбор AI-станции влияют:

• Cценарии использования – инференс, генерация изображений, дообучение моделей, агенты, RAG;
• Тип и размер моделей ;
• Требования к VRAM и оперативной памяти;
• Количество GPU и требования к PCIe;
• Бюджет и формат.

Несмотря на ключевую роль GPU, для AI-задач важна и остальные компоненты систем: CPU с достаточным количеством ядер для препроцессинга, RAG, компиляции и сопутствующих задач; объем оперативной памяти; запас PCIe-линий для GPU и NVMe; мощность блока питания; охлаждение, габариты и конструкция станции.

Не рассматривая собственно GPU, сосредоточимся на базовых платформах AI-станций. Конкретно они определяют процессорный ресурс, количество и режим работы GPU, максимальный объем RAM, количество скоростных NVMe-накопителей, возможности сети и наличие удаленного управления.

От простых решений к профессиональным

Платформы AI-станций на процессорах Intel и AMD можно разделить на две группы:

• «Младшие» – на Intel Core Ultra и AMD Ryzen. Они имеют относительно небольшое количество процессорных ядер, двухканальную DDR5-память и ограниченное количество PCIe-линий.

• "Старшие" - на Intel Xeon W, Xeon 600 и AMD Threadripper/Threadripper PRO, с большим количеством процессорных ядер, 4-8 каналами памяти, ECC RDIMM и существенно большим ресурсом PCIe. Именно эти платформы являются основой multi-GPU конфигураций с большим количеством NVMe-накопителей.

Распределение PCIe

Основными потребителями линий PCIe в рабочих станциях являются GPU и NVMe-накопители. Доступность младших AI-решений имеет обратную сторону – технические ограничения.

В рабочих станциях на процессорах Intel Core Ultra 200S с чипсетом Intel Z890 платформа может иметь до 48 PCIe-линий, однако они имеют разное происхождение и пропускную способность:

Intel Core Ultra 200S напрямую обслуживает периферию по 24 ліням, чипсет Z890 добавляет еще 24, которые не равнозначны прямим линиям від CPU. Все устройства, подключенные через чипсет, делят соединение Z890 ↔ CPU через DMI 4.0 x8.

Возможные конфигурации станций:

• 1×GPU x16 + несколько NVMe-накопителей;
• 2×GPU в конфигурации x8/x8 + NVMe;
• 1×GPU x16 + сетевой адаптер 10/25GbE и NVMe-накопители.

Для подключения большего количества GPU потребительские платформы Z890 не имеют запаса независимых PCIe-линий от CPU.

В AMD Ryzen 7000/9000 процессор обслуживает 28 линий PCIe 5.0-линий, из которых 24 доступны для периферийных устройств, а 4 используются для связи с чипсетом. Чипсет B850 добавляет собственные PCIe-ресурсы, доводя заявленное AMD общее количество PCIe-линий платформы до 36.

Типичные конфигурации зависят от конкретной материнской платы, но по возможности масштабирования GPU потребительские платформы AMD и Intel находятся примерно в одном классе: они хорошо подходят для одной мощной видеокарты, но не рассчитаны на множество видеокарт.

Номинальное количество PCIe-линий платформы само по себе не свидетельствует о его пригодности для AI-станции. Многографические станции нуждаются в значительно большем количестве независимых PCIe-линий, чем может предоставить обычная массовая платформа.

BMC

BMC (Baseboard Management Controller) и IPMI превращают AI-рабочую станцию из просто мощного ПК в систему, которую можно администрировать по серверному сценарию. Это оправдано для систем, работающих 24/7, расположенных в отдельных помещениях или дата-центрах, имеют ограниченный физический доступ или используются несколькими пользователями.

Мониторинг температур и напряжений, контроль питания, удаленная перезагрузка, просмотр этапа POST и аппаратной консоли, а также обновление BIOS и других прошивок важны для AI-станции: нагрузка на GPU и CPU может длиться круглосуточно, а отказ системы из-за перегрева, зависания драйвера или проблемы с питанием не должен требовать физ.

Возможность удаленно подключиться к консоли, перезагрузить систему или управлять ее питанием без поездки на рабочую станцию имеет большую практическую ценность, чем разница в цене между обычной и BMC-управляемой платформой.

Материнские платы начального уровня для AI

Примеры продуктов одного производителя – ASUS – демонстрируют возможности и ограничения материнских плат, на которых можно строить младшие AI-станции:

В конфигурации с двумя GPU процессорные линии распределяются как x8/x8, ограничивая пропускную способность каждой видеокарты. Важно учитывать физическую совместимость. Топовые потребительские GPU RTX 5090 имеют толщину около 3,5–4 слота, две такие видеокарты невозможно установить на большинство массовых плат.

Для начальной AI-станции с одним мощным GPU рациональным выбором выдается плата ASUS Pro WS B850M-ACE SE, с полноценным слотом PCIe 5.0х16 для GPU, скоростными интерфейсами хранения и сетевыми подключениями 10GbE и 2.5GbE, а также BMC для.

"Профессиональная лига" AI

Платформы следующего уровня на базе Intel Xeon W/Xeon 600 и AMD Threadripper/Threadripper PRO существенно отличаются от младших решений возможностями масштабирования: значительно большим количеством процессорных ядер, поддержкой больших объемов ECC-памяти и расширенным набором PCIe-линий непосредственно от CPU. Последний фактор имеет критическое значение для AI-рабочих станций с несколькими GPU.

ASUS предлагает ряд материнских плат этого класса:

* Для W890E-SAGE SE фактическая конфигурация PCIe зависит от конкретного процессора Xeon 600. В старших моделях платформа поддерживает до семи GPU-слотов PCIe 5.0.

Запас PCIe-линий позволяет устанавливать несколько GPU, скоростные сетевые адаптеры, NVMe-накопители и другие PCIe-устройства без жестких компромиссов, присущих платформам исходного уровня. В то же время, само количество механических слотов не является свидетельством реальных возможностей платформы: важно, сколько PCIe-линий доступно непосредственно от CPU и как они распределяются между слотами.

Вызовы обустройства

Присмотримся к плате ASUS Pro WS WRX90E-SAGE SE под процессоры AMD Ryzen Threadripper PRO 7000/9000 WX. Она поддерживает процессоры до 96 ядер, до 2 ТБ памяти DDR5 RDIMM по 8 каналам.

С семью слотами PCIe 5.0 (шесть x16 и один x8) плата создана для многографических конфигураций. Кроме этого на ней есть:

• 4×M.2 PCIe 5.0;
• 2× SlimSAS для дополнительных NVMe-накопителей;
• 4×SATA;
• 2×10ГбЭ;
• 2×USB4 40 Гбит/с;
• BMC с личным сетевым портом 1ГбЭ.

Вот как устроено распределение линий PCIe:

Семь слотов PCIe на материнской плате не означают, что семь GPU можно просто установить рядом: мощные профессиональные видеокарты для AI-систем обычно двухслотны. Если не придумывать сложные специализированные решения с гибкими удлинителями шины PCIe или фермы GPU с жидкостным охлаждением, практическим пределом для обычной рабочей станции является четыре GPU.

Но и четыре GPU – это уже серьезная инженерная задача. Конструкция корпуса, распределение PCIe-линий, мощность блока питания и отвод тепла нуждаются в тщательном проектировании. Особенно сложно обеспечить достаточное воздушного потока между плотно установленными видеокартами.

Цель оправдывает средства

Выбор материнской платы для AI-станции следует начинать не с количества разъемов и даже не с модели процессора, а с будущей конфигурации системы.

Платформы Intel Core Ultra и AMD Ryzen являются оптимальным выбором для одной мощной GPU, нескольких NVMe-накопителей и умеренных объемов оперативной памяти. Они дешевле, компактнее и проще в построении.

Платформы на Intel Xeon W, Xeon 600 и AMD Threadripper/Threadripper PRO имеют смысл тогда, когда требуется AI-станция с несколькими GPU, запасом процессорных ядер и оперативной памяти, обилием NVMe-накопителей и высокоскоростными сетевыми адаптерами.

Сложность реализации многографических станций является естественной ценой за производительную работу без узких мест в PCIe, памяти, питании и охлаждении.