Крій робочих AI-станцій

Поки велика AI-індустрія рухається від універсальних GPU до спеціалізованих AI-акселераторів, на робочих столах простих посполитих усе ще працюють типові x86-комп’ютери з NVIDIA GPU.

На вибір AI-станції впливають:

• Cценарії використання - інференс, генерація зображень, донавчання моделей, агенти, RAG;
• Тип і розмір моделей;
• Вимоги до VRAM та оперативної пам’яті;
• Кількість GPU та вимоги до PCIe;
• Бюджет і формат.

Попри ключову роль GPU, для AI-задач важлива й решта системи: CPU з достатньою кількістю ядер для препроцесингу, RAG, компіляції та супутніх задач; обсяг оперативної пам’яті; запас PCIe-ліній для GPU та NVMe; потужність блока живлення; охолодження, габарити та конструкція станції.

Не розглядаючи власне GPU, зосередимося на базових платформах AI-станцій. Саме вони визначають процесорний ресурс, кількість і режим роботи GPU, максимальний обсяг RAM, кількість швидких NVMe-накопичувачів, можливості мережі та наявність віддаленого керування.

Від простих рішень до професійних

Платформи AI-станцій на процесорах Intel та AMD можна умовно поділити на дві групи:

• «Молодші»  - на Intel Core Ultra та AMD Ryzen. Вони мають відносно невелику кількість процесорних ядер, двоканальну DDR5-пам’ять і обмежену кількість PCIe-ліній.
•  

• «Старші» - на Intel Xeon W, Xeon 600 та AMD Threadripper/Threadripper PRO,  з більшою кількістю процесорних ядер, 4–8 каналами пам’яті, ECC RDIMM та істотно більшим ресурсом PCIe. Саме ці платформи є основою багатoграфічних (multi-GPU) конфігурацій з великою кількістю NVMe-накопичувачів.
•  

Розподіл PCIe

Основними споживачами ліній PCIe у робочих станціях є GPU та NVMe-накопичувачі. Доступність молодших AI-рішень має зворотний бік - технічні обмеження.

У робочих станціях на процесорах Intel Core Ultra 200S із чипсетом Intel Z890 платформа може мати до 48 PCIe-ліній, однак вони мають різне походження та пропускну здатність:

Intel Core Ultra 200S напряму обслуговує периферію по 24 ліням, чипсет Z890 додає ще 24, які не рівнозначні прямим лініям від CPU. Усі пристрої, підключені через чипсет, ділять з'єднання Z890 ↔ CPU через DMI 4.0 x8.

Можливі конфігурації станцій:

• 1 × GPU x16 + кілька NVMe-накопичувачів;
• 2 × GPU у конфігурації x8/x8 + NVMe;
• 1 × GPU x16 + мережевий адаптер 10/25GbE та NVMe-накопичувачі.

Для підключення більшої кількості GPU споживчі платформи на Z890 не мають запасу незалежних PCIe-ліній від CPU.

У AMD Ryzen 7000/9000 процесор обслуговує 28 ліній PCIe 5.0-ліній, з яких 24 є доступними для периферійних пристроїв, а 4 використовуються для зв'язку з чипсетом. Чипсет B850 додає власні PCIe-ресурси, доводячи заявлену AMD загальну кількість PCIe-ліній платформи до 36.

Типові конфігурації залежать від конкретної материнської плати, але за можливостями масштабування GPU споживчі платформи AMD та Intel перебувають приблизно в одному класі: вони добре підходять для однієї потужної відеокарти, але не розраховані на велику кількістю відеокарт.

Номінальна кількість PCIe-ліній платформи сама по собі не свідчить про її придатність для AI-станції. Багатографічні станції потребують значно більшої кількості незалежних PCIe-ліній, ніж може надати звичайна масова платформа.

BMC

BMC (Baseboard Management Controller) та IPMI перетворюють AI-робочу станцію з просто потужного ПК на систему, яку можна адмініструвати за серверним сценарієм. Це виправдано для систем, що працюють 24/7, розташовані в окремих приміщеннях або дата-центрах, мають обмежений фізичний доступ чи використовуються кількома користувачами.

Моніторинг температур і напруг, контроль живлення, віддалене перезавантаження, перегляд етапу POST та апаратної консолі, а також оновлення BIOS та інших прошивок є важливими для AI-станції: навантаження на GPU та CPU може тривати цілодобово, а відмова системи через перегрів, зависання драйвера або проблеми з живленням не повинна вимагати фізичної присутності адміністратора.

Можливість віддалено підключитися до консолі, перезавантажити систему або керувати її живленням без поїздки до робочої станції має більшу практичну цінність, ніж різниця в ціні між звичайною та BMC-керованою платформою.

Материнські плати початкового рівня для AI

Приклади продуктів одного виробника - ASUS - демонструють можливості та обмеження материнських плат, на яких можна будувати молодші AI-станції:

У конфігурації з двома GPU процесорні лінії розподіляються як x8/x8, обмежуючи пропускну здатність кожної відеокарти. Важливо враховувати фізичну сумісність. Топові споживчі GPU RTX 5090 мають товщину близько 3,5–4 слотів, дві такі відеокарти неможливо встановити на більшість масових плат.

Для початкової AI-станції з одним потужним GPU раціональним вибором видається плата ASUS Pro WS B850M-ACE SE, з повноцінним слотом PCIe 5.0 х16 для GPU, швидкісними інтерфейсами зберігання та мережевими підключеннями 10GbE і 2.5GbE, а також BMC для віддаленого адміністрування.

«Професійна ліга» AI

Платформи наступного рівня на базі Intel Xeon W / Xeon 600 та AMD Threadripper / Threadripper PRO суттєво відрізняються від молодших рішень можливостями масштабування: значно більшою кількістю процесорних ядер, підтримкою великих обсягів ECC-пам'яті та розширеним набором PCIe-ліній безпосередньо від CPU. Останній фактор має критичне значення для AI-робочих станцій із кількома GPU.

ASUS пропонує низку материнських плат цього класу:

* Для W890E-SAGE SE фактична конфігурація PCIe залежить від конкретного процесора Xeon 600. У старших моделях платформа може забезпечувати до семи GPU-слотів із підтримкою PCIe 5.0.

Запас PCIe-ліній дозволяє встановлювати кілька GPU, швидкісні мережеві адаптери, NVMe-накопичувачі та інші PCIe-пристрої без жорстких компромісів, властивих платформам початкового рівня. Водночас сама кількість механічних слотів не є свідченням реальних можливостей платформи: важливо, скільки PCIe-ліній доступно безпосередньо від CPU та як вони розподіляються між слотами.

Виклики облаштування

Придивимось до плати ASUS Pro WS WRX90E-SAGE SE під процесори AMD Ryzen Threadripper PRO 7000/9000 WX. Вона підтримує процесори до 96 ядер, до 2 ТБ пам'яті DDR5 RDIMM по 8 каналах. 

З сімома слотами PCIe 5.0 (шість x16 та один x8) плата створена для багатографічних конфігурацій. Крім цього на ній є:

• 4 × M.2 PCIe 5.0;
• 2 × SlimSAS для додаткових NVMe-накопичувачів;
• 4 × SATA;
• 2 × 10ГбЕ;
• 2 × USB4 40 Гбіт/с;
• BMC з власним мережевим портом 1ГбЕ. 

Ось як влаштований розподіл ліній PCIe:

Сім слотів PCIe на материнській платі не означають, що сім GPU можна просто встановити поруч: потужні професійні відеокарти для AI-систем зазвичай двослотові. Якщо не вигадувати складні спеціалізовані рішення з гнучкими подовжувачами шини PCIe чи ферми GPU з рідинним охолодженням, практичною межею для звичайної робочої станції є чотири GPU.

Але й чотири GPU — це вже серйозне інженерне завдання. Конструкція корпуса, розподіл PCIe-ліній, потужність блока живлення та відведення тепла потребують ретельного проєктування. Особливо складним є забезпечення достатнього повітряного потоку між щільно встановленими відеокартами.

Мета виправдовує засоби

Вибір материнської плати для AI-станції варто починати не з кількості роз'ємів і навіть не з моделі процесора, а з майбутньої конфігурації системи.

Платформи на Intel Core Ultra та AMD Ryzen є оптимальним вибором для однієї потужної GPU, кількох NVMe-накопичувачів і помірних обсягів оперативної пам'яті. Вони дешевші, компактніші та простіші в побудові.

Платформи на Intel Xeon W, Xeon 600 та AMD Threadripper / Threadripper PRO мають сенс тоді, коли потрібна AI-станція з кількома GPU, запасом процесорних ядер та оперативної пам'яті, великою кількістю NVMe-накопичувачів і високошвидкісними мережевими адаптерами.

Складність реалізації багатографічних станцій є природною ціною за продуктивну роботу без вузьких місць у PCIe, пам'яті, живленні та охолодженні.