Платформы полевых серверов

Серверы переднего края (edge-) обрабатывают данные в непосредственной близости к порождающим их источникам - видеокамерам, датчикам, измерительным устройствам. То есть, работают за пределами традиционных центров обработки данных, на периферии сети, "в полях". Приближение вычислителей к генераторам данных устраняет проблемы задержки передачи, качества связи, производительности облачных провайдеров и уменьшает информационную избыточность.

CPU , GPU , FPGA , ASIC

Хотя центральные процессоры серверов являются универсальными вычислителями, требования к производительности, задержкам и энергоэффективности порождают различные решения с GPU, FPGA или ASIC.

Графические процессоры GPU, созданные для компьютерной графики, пригодились в обучении нейронных сетей и их работе на конечных устройствах благодаря мощной архитектуре параллельной обработки. Специальные интегральные схемы одной задачи ASIC проектируются под определенный набор функций - в отличие от обычного процессора, который можно использовать под любую нагрузку. Программируемые логические матрицы FPGA более гибки, чем ASIC, но требуют больше энергии для работы.

Звездное время Nvidia

Расцвет популярности GPU обеспечили не геймеры с дизайнерами, а массовое использование искусственного интеллекта (ИИ). Графические вычисления лежат в основе глубокого обучения, создания контента, распознавания изображений, обработки языка.

Еще никогда графические процессоры не были так дороги – и все равно продаются как горячие пирожки. На буме спроса Nvidia получает почти 1000% дохода от каждого проданного ускорителя H100 (~$40K). По последнему отчету квартальный доход Nvidia вырос на 206% год к году, а поступления от продажи чипов для центров обработки данных в пять раз превысили доходы от игрового сегмента.

Nvidia доминирует в разработке чипов для систем искусственного интеллекта с долей более 70%, пока конкуренты стремятся воспользоваться ростом отраслей вокруг ИИ. Половину дохода Nvidia по продаже старших графических ускорителей приносят глобальные провайдеры облачной инфраструктуры. Для глубокого обучения и особенно для развития генеративного ИИ требуются значительные вычислительные мощности.

Независимо от того, в какой нейросети, в облаке или на собственных серверах были обучены модели, их практическое выполнение (inference) – типичная работа для серверов переднего края.

Требования к edge- серверам

Каким быть серверу, определяет тип сети, сценарий использования, местоположение (обычны суровые условия эксплуатации в ограниченном пространстве). Специализируемым его делают аппаратные ускорители на шине PCIe. Распространенные программные модели отработки нейросетей используют мощные серверные GPU.

Типовые требования к базовым платформам:

• Расширенный диапазон рабочих температур (желательно, 0°C ~ 55°C)
• Малая глубина шасси (400-450 мм)
• Поддержка двухслотных полноразмерных (FHFL) ускорителей
• Отказоустойчивое питание
• Широкополосное сетевое подключение

Боевой отряд малышей-крепышей

Вот некоторые примеры платформ edge-серверов. Все они 1U, короткобазные, с отказоустойчивым питанием. Каждая по-своему интересна.

ASUS EG500-E11

Xeon SP 4 ^th Gen / 2 x 2.5” hot-swap + 2 x E1.S + 2 x 2.5” internal + 2 x M.2 / 2x FHFL + 1 x FHHL / 2 x 10G

Dell PowerEdge XR11

Xeon SP ^3rd Gen / 4 x 2.5” hot-swap / 2 x FHHL + 1 x LP / 2 x 25G SFP+

Gigabyte E152-ZE1

AMD EPYC 7003 Milan / 2 x 2.5” hot-swap + 2 x M.2 NVMe / 2 x FHFL + 1 x HHHL + 1 x OCP 3.0 / 2 x 1G

Quanta EGX63IS-1U

Xeon SP ^3rd Gen / 2 x 2.5” hot-swap + 2 x M.2 NVMe / 2 x FHFL + 1 x FHHL / 4 x 25G SFP+ + 2 x 1G

Supermicro SYS-111E-FWTR

Xeon SP 4 ^th Gen / 2 x 2.5” internal + 1 x M.2 NVMe / 2 x FHFL + 1 x LP / 2 x 10G

Инфозерна, инфоплевла

Компактные серверы – лишь часть рынка вычислителей переднего края. Но именно им приходится обслуживать множественный доступ к услугам IT (Multi-access Edge Computing, MEC). Владельцы борются за снижение расходов: в видеонаблюдении, распознавании лиц и номерных знаков автомобилей, аналитике больших данных. В шлюзах IoT, где доступная пропускная способность не столь высока, отправка множества событий в облако дорогая и неэффективная по сравнению с обработкой их на местах. Конечной целью MEC является обеспечение оптимизированной вычислительной инфраструктуры с низким временем задержки, гибкой в развертывании, масштабируемой относительно недорогими модулями.

И действительно, зачем перегружать транспортную связь инфомусором?