Источники и составные части производительности ввода-вывода серверов. Вид изнутри
При всем приятии публичных облаков, часть серверной инфраструктуры предприятий остается в собственном владении (on-premise). Компании содержат свои мощности не только по соображениям безопасности и оптимизации затрат. Низкие задержки обращения к данным – вот что притягивает критичные приложения к земле.
Потребность в быстром отклике в повседневных задачах: OLTP, OLAP, документообороте, создании контента, разгоняет спрос на производительные системы хранения. Исследователи говорят о 13% среднегодового прироста поставок полноценных СХД на флэш-памяти. Это путь больших корпораций. На рынке массового потребления прогнозируют 3% роста выручки в сегменте внутренних (серверных) систем хранения и средний спад сбыта внешних (дисковых и гибридных) систем также на 3%.
То, что данные возвращаются в серверы из внешних систем хранения, объяснимо: в современных программных моделях основной объем вычислений ложится на центральные процессоры серверов. Задержки вносят посредники между CPU и данными на устройствах хранения, избавление от них снижает накладные расходы. В какие же серверы возвращаются данные?
В типовые.
Прошло время романтического увлечения блейд-системами. Не стали стандартом серверы унифицированных (в рамках одного производителя) вычислений. Благодаря мощности современных процессоров и средствам распределения нагрузки практически сошли со сцены 4- и 8-процессорные системы, дойдет очередь и до двухпроцессорных. «Меньше, да лучше». Но, самое главное, скорость изменений в ИТ сегодня задают не аппаратные технологии, а эволюция программных моделей. Любая проприетарщина устаревает быстрее, чем успевает окупиться тиражом продаж. У открытой к вариациям типовой серверной базы охват применения шире.
Какое типовое?
В стандартном двухпроцессорном сервере на платформе Intel Xeon Scalable - до 56 физических ядер, раздающих 96 линий PCIe периферийным устройствам. На платформе AMD EPYC доступно до 64 ядер и 128 линий PCIe. С таким запасом мощности серверы годятся на множество ролей – особенно в приложениях, извлекающих выгоду из многоядерности и широкополосного доступа к данным.
От вытеснения механических дисков из приложений, критичных к задержкам обращения, выиграл формат серверов. На передней панели стандартной платформы 1U хватает места 8-12 x 2.5” SSD - чего достаточно для реализации множества сценариев производительного доступа к данным. Кому нужно объемное хранение, подключат к серверам JBOD на емких дисках 3.5” NL SAS / SATA 7.2 rpm.
Когда живешь на широкую ногу, меньше думаешь о стоимости владения. К примеру, в гиперконвергентных системах (VMware VSAN, Microsoft Storage Space Direct, Nutanix) применяются специфические однородные решения высокой плотности – как интеловские квадриги. Все то же самое можно делать на дискретных 1U-платформах, дешевле. Они занимают вдвое больше места в стойках, зато легко адаптируются под любые приложения, имеют запас по наращиванию вычислительной мощности, проще в обслуживании.
Из одноюнитовых платформ как кирпичиков можно сложить целую инфраструктуру вычислений и хранения. Это удобно - иметь однородную базовую основу и менять назначение сервера начинкой и устанавливаемым ПО
На примере Intel
Почему Intel? Компания в одном лице и мать, и повитуха большинства серверных технологий. Хоть продает она платформ не так много, как лидеры рынка, но их всегда отличает продуманность и тщательность проработки узлов. Бывает, задним числом в них обнаруживаешь зародыши стандартов последующих поколений серверов.
Посмотрим на R1208WFTYS в роли строительной заготовки.
24 места под модули RAM – привлекательная опция в приложениях-пожирателях памяти (OLTP, OLAP, виртуализация).
Поддерживается 8 передних накопителей hot-swap 2.5”. Есть два внутренних места под M.2 SSD.
Со стороны дисков на бэкплейне дисковой корзины распаяны разъемы SFF-8639 (пронумерованы от 0 до 7), совместимые с дисками SAS, SATA и U.2 (2.5” NVMe).
C внутренней стороны бэкплейна распаяны два разъема mini-SAS HD (SFF-8643, отображены на схеме как SAS/SATA 0-3 и 4-7) и восемь разъемов PCIe OCuLink c номерами ##0-7 – по одному на каждый диск U.2.
Каждый разъем mini-SAS HD (SFF-8643) обслуживает четыре диска SAS/SATA в корзине и подключается кабелем к бортовым портам SATA материнской платы, либо к карте RAID/HBA.
Разъемы и кабели OCuLink подводят сигналы PCIe к накопителям U.2. Четыре выхода OCuLink разведены на материнской плате. Чтобы обслужить восемь U.2, для еще четырех придется купить дополнительную плату-коммутатор. Замыкание контактов SFF-8639 накопителем, установленным в корзину, однозначно определяет его тип - U.2 или SAS/SATA, c переключением ввода-вывода на соответствующую подсистему.
Примеры Intel SSD формата 2.5” для установки в такие платформы:
|
Intel S4600 960GB |
Intel P4600 1TB |
Intel Optane P4800X 375GB |
Interface |
6Gb SATA |
x4 PCIe |
x4 PCIe |
Flash type |
3D NAND TLC |
3D NAND TLC |
3D XPoint |
Sequential Read, MB/s |
500 |
3,200 |
2,400 |
Sequential Write, MB/s |
490 |
600 |
2,000 |
Random Read, IOPS |
72,000 |
279,500 |
550,000 |
Random Write, IOPS |
30,000 |
30,500 |
500,000 |
Latency |
36 μs |
82/30 μs (read/write) |
10 μs |
Endurance, DWPD |
1 |
1 |
30 |
Источник ark.intel.com
NVMe SSD можно собрать в виртуальный RAID на процессоре (VROC), достаточно установить ключ в разъем на плате. VROC дает полноценный аппаратный RAID 5/10 на NVMe, позволяет с него загружаться, обеспечивает безопасное подключение/отключение накопителей при горячей замене, управляет индикацией событий.
Ключи VROC для интеловских SSD стоят $10, для сторонних - $180.
В платформе есть два слота PCIe Gen3 x16 под установку полновысотных карт расширения и OCP-разъем PCIe Gen3 x8 под карту-мезонин.
Кроме интеловских сетевых адаптеров 10/25/40 GbE можно добавлять любые другие. В списке штатных опций есть интерфейсные адаптеры Omni-Path 58-100Gb.
О приложениях, нагрузках ввода-вывода и соответствующих им модификациях типовых платформ - в следующей части