Тупик U.3

01.07.2022 | Хранилища

 

Хранение данных на серверах эволюционирует вместе с приложениями, растущими  объемами и носителями данных. Пока всю инфраструктуру на SAS и SATA дисках обслуживала экосистема SAS с контроллерами, объединительными платами серверов (бэкплейнами) и расширителями (экспандерами), столбовая дорога индустрии была прямой. Появился NVMe, протокол прямого подключения SSD к CPU по шине PCIe, без посредников (контроллеров и  программных стеков), их задержек и ограничений – и мнения разделились.

Отраслевой вызов

Не только инфраструктура в целом, отдельные серверы тоже могут извлечь пользу из многоуровневой среды хранения. В зависимости от приложений дисковую подсистему сервера сегментируют для решения различных задач: у каждого типа носителей (NVMe, SAS, SATA) есть свои преимущества. Строить смешанное хозяйство начали с унификации габаритов. В массовых серверах прижился стандарт U.2 (2.5” NVMe SSD) – из-за совместимости с типовыми дисковыми корзинами, возможности замены на горячую и распространенности (читай, низкой цены). В серверах появились гибридные бэкплейны с универсальными разъемами SFF-8639.  К ним достаточно подвести со стороны хоста шинные линии PCIe, чтобы обслужить U.2. В таких серверах уживаются два набора коммутации, две сигнальные системы: отдельно под диски SAS/SATA, отдельно – под U.2. «Два мира – два образа жизни».

Объективно, NVMe не нужны контроллеры с их стеком SAS и узким горлом шинного подключения. При наличии соответствующих разъемов и кабелей любые диски определяются и корректно обслуживаются, включая отработку горячего подключения и индикации. 

Broadcom, ведущий производитель аппаратных контроллеров RAID и HBA, не собирался терять рынок в угоду энтузиастам низких задержек обращения дискового ввода/вывода. Его ответом на вызов времени стали трехрежимные (Tri-mode) контроллеры. Они поддерживают стандарты SAS, SATA и NVMe, опрашивают тип диска через одно физическое соединение и автоматически определяют, каким интерфейсным протоколом его обслуживать. С точки зрения удобств пользователя, он вроде бы получает универсальное средство управления всеми данными сервера через единое окно. Платой за это, помимо довольно высокой цены самого контроллера, становятся вносимые им задержки и маршрутизация всего дискового трафика через 8-16 линий PCIe (один U.2 стандартно требует четырех). 

Сторонники унификации поддержали курс на Tri-mode. Продукты Broadcom продвигают Intel, Dell и Lenovo, подобные контроллеры появились у Adaptec и Areca. Производителям серверов A-brand проще массово продавать серверы с контроллерами Tri-mode, чем угождать маргинальным сообществам борцов за максимальную продуктивность. Те избегают аппаратных посредников и управляют серверами со смешанной дисковой подсистемой SATA / U.2 программно. 

А потом пришел U.3

«Заединщики» приняли стандарт U.3 - хранилища с универсальными отсеками для дисков SAS / SATA / NVMe все того же форм-фактора 2.5”. Трехрежимная платформа U.3 построена на однородной конструкции объединительной платы и едином типе разъема. Ее обязательные элементы: (1) трехрежимный контроллер; (2) разъемы SFF-8639 на бэкплейне; (3) универсальная структура управления им (Universal Bus Management).

Разъем SFF-8639

В модифицированном под U.3 разъеме SFF-8639 отводится до четырех линий PCIe для твердотельных накопителей NVMe и до двух линий для SAS/SATA HDD или SSD. Сами накопители U.3 чуть сложнее по схемотехнике, чем U.2 (на плату ставят мультиплексор). U.3 работают в бэкплейнах U.2, наоборот – нет, не хватает сигнальных линий опроса. 

В серверах с бэкплейнами U.3 каждый дисковый слот подключается к трехрежимному контроллеру хоста одним кабелем. Не надо задумываться, какой носитель куда ставить: тип устройства SAS, SATA или NVMe определяется автоматически, устанавливается соответствующий протокол связи. В серверах с гибридными бэкплейнами с поддержкой U.2 диски разных стандартов взаимозаменяемы только в отсеках с соответствующей коммутацией. 

Universal Backplane Management (UBM

UBM обеспечивает идентичную структуру управления для всех серверных хранилищ независимо от протокола интерфейса (SAS, SATA или NVMe) или носителя (жесткие диски или твердотельные накопители). 

Вот что дает UBM:

• Локализацию слота. Пользователю легче определить, где расположен диск, нуждающийся в замене или устранить другие возможные проблемы дисковых слотов, кабелей, питания.

• Единое кабельное подключение. В трехрежимной конфигурации универсальный кабель подключается ко всем слотам дисков. Раньше приходилось прокладывать определенные кабели к определенным слотам дисков, с учетом общей длины. 

• Управление светодиодами. Светодиодное кодирование платформой UBM обеспечивает видимый сигнал активности на каждом диске, включая сбои, питание и т. д.

• Сброс PCIe. На уровне шины PCIe сбрасывается каждое устройство, подключенное к мосту PCIe, независимо от того, нормально ли работают накопители. Платформа UBM позволяет активировать сброс PCIe для определенных слотов дисков, сбрасывая только те диски, которые в этом нуждаются.

• Режимы синхронизации. С более высокими скоростями передачи данных PCIe 3.0 и PCIe 4.0 все сложнее поддерживать синхронизацию. Инфраструктура UBM может настроить устройства хранения для использования либо традиционной сети тактирования PCIe, либо встраивание тактовых сигналов непосредственно в высокоскоростные сигналы – для уменьшения электромагнитных помех.

Cкоростной доступ к NVMe SSD существовал до UBM и без UBM, как и светодиодная индикация с корректной отработкой горячей замены (за счет VPP для NVMe и SGPIO для SAS/SATA, сигнальных средств управления через I2C). С высокочастотными помехами борются не пользователи, а разработчики платформ, оптимизируя дизайн и длину кабелей. Кабельным подключением пользователи тоже не занимаются – за них это делают поставщики серверов. 

Cui prodest?

Лукавство «консорциума U.3» состоит в том, что трехрежимные контроллеры становятся обязательной частью сервера и вносят ощутимый вклад в смету (Bill of Material). Это несколько  обесценивает рассуждения об экономии на кабелях и комфорте «неподготовленного» пользователя. Открытым остается вопрос, что делать, если потребности в производительности выходят за рамки 16 линий PCIe, которые доступны хосту для обслуживания накопителей – ведь уже четыре NVMe x4 выедают всю полосу пропускания.   

Показателен демарш инженеров Dell U.2 –Still the Industry Standard in 2.5” NVMe SSDs – он развеивает иллюзии, что U.3 годится на роль переходного стандарта в NVMe-будущее. Трехрежимное дисковое хозяйство обходится дорого и не приносит ощутимых преимуществ. Добавление NVMe к комбинации виртуальных дисков SAS и SATA за одним контроллером имеет мало смысла, поскольку твердотельные накопители NVMe намного более производительны, чем диски SAS или SATA. 

А что производители SSD?

Им все равно, какие делать – разница в себестоимости копеечная. U.2 и U.3 отличаются не производительностью, а подключением. К технологическому прогрессу выбор между ними не имеет отношения - только к каналу поставок и предпочтениям по базовым серверным платформам. К примеру, у гиперскейлеров свое на уме, они заказывают производителям SSD «линеечного» формата EDSFF – из соображений плотности хранения и теплоотвода.

Как быть?

Здраво оценивать потребности своих собственных приложений и выбирать решение сообразно текущим запросам и возможностям. Не вестись на приписываемые платформам U.3 снижение совокупной стоимости владения и защиту инвестиций - технический прогресс и унификация идут не в ногу. Вот появится через год в серверах шина PCIe Gen 5 – и пойдет прахом все противодействие однородных бэкплейнов U.3 электромагнитным помехам. Всякому времени  свои решения (а фьючерсы – бранное слово в ИТ).

С использованием материалов  Broadcom и StorageReview.com