Глухий кут U.3

01.07.2022 | Сховища

 

Зберігання даних на серверах еволюціонує разом із додатками, зростаючими обсягами та носіями даних. Поки всю інфраструктуру на SAS та SATA дисках обслуговувала екосистема SAS з контролерами, об'єднувальними платами серверів (бекплейнами) та розширювачами (експандерами), стовпова дорога індустрії була прямою. З'явився NVMe, протокол прямого підключення SSD до CPU по шині PCIe, без посередників (контролерів та програмних стеків), їх затримок та обмежень – і думки розділилися.

Галузевий виклик

Не тільки інфраструктура в цілому, окремі сервери теж можуть отримати користь із багаторівневого середовища зберігання. Залежно від додатків дискову підсистему сервера сегментують для вирішення різних завдань: кожен тип носіїв (NVMe, SAS, SATA) має свої переваги. Будувати мішане господарство почали з уніфікації габаритів. У масових серверах прижився стандарт U.2 (2.5” NVMe SSD) – через сумісність із типовими дисковими кошиками, можливість заміни на гарячу та поширеність (читай, низьку ціну). В серверах з'явилися гібридні бекплейни з універсальними роз'ємами SFF-8639. До них достатньо підвести шинні лінії PCIe з боку хоста, щоб обслужити U.2. У таких серверах використовують два набори комутації, дві сигнальні системи: окремо під диски SAS/SATA, окремо – під U.2. «Два світу – два способи життя».

Об'єктивно, NVMe не потрібні контролери з їх стеком SAS та вузьким горлом шинного підключення. За наявності відповідних роз'ємів та кабелів будь-які диски розпізнаються та коректно обслуговуються, включаючи відпрацювання гарячого підключення та індикації.

Broadcom, провідний виробник апаратних контролерів RAID і HBA, не збирався втрачати ринок через якихось ентузіастів низьких затримок звернення дискового вводу/виводу. Його відповіддю на виклик часу стали трирежимнi (Tri-mode) контролери. Вони підтримують стандарти SAS, SATA та NVMe, опитують тип диска через одне фізичне з'єднання та автоматично визначають, яким інтерфейсним протоколом його обслуговувати. З погляду зручностей користувача, він ніби отримує універсальний засіб управління всіма даними сервера через єдине вікно. Платою за це, крім досить високої ціни самого контролера, стають затримки, що вносяться ним, і маршрутизація всього дискового трафіку через 8-16 ліній PCIe (один U.2 стандартно вимагає чотирьох).

Прихильники уніфікації підтримали курс на Tri-Mode. Продукти Broadcom просувають Intel, Dell та Lenovo, подібні контролери з'явилися у Adaptec та Areca. Виробникам серверів A-brand простіше масово продавати сервери з контролерами Tri-mode, ніж догоджати маргінальним співтовариствам борців за максимальну продуктивність. Ті уникають апаратних посередників та керують серверами зі змішаною дисковою підсистемою SATA/U.2 програмно.

А потім прийшов U.3

«Заєдинщики» прийняли стандарт U.3 - сховища з універсальними відсіками для дисків SAS/SATA/NVMe все того ж форм-фактора 2.5”. Трирежимна платформа U.3 побудована на однорідній конструкції об'єднавчої плати та єдиному типі роз'єму. Її обов'язкові елементи: (1) трирежимний контролер; (2) роз'єми SFF-8639 на бекплейні; (3) універсальна структура управління ним (Universal Bus Management).

Роз'єм SFF -8639

У модифікованому під U.3 роз'ємi SFF-8639 відводиться до чотирьох ліній PCIe для твердотільних накопичувачів NVMe і до двох ліній для SAS/SATA HDD або SSD. Самі накопичувачі U.3 трохи складнішi за схемотехнікою, ніж U.2 (на плату ставлять мультиплексор). U.3 працюють у бекплейнах U.2, навпаки – ні, не вистачає сигнальних ліній опитування.

У серверах з бекплейнами U.3 кожен дисковий слот підключається до трирежимного контролера хоста одним кабелем. Не треба замислюватись, який носій куди ставити: тип пристрою SAS, SATA або NVMe визначається автоматично, встановлюється відповідний протокол зв'язку. У серверах з гібридними бекплейнами з підтримкою U.2 диски різних стандартів взаємозамінні лише у відсіках із відповідною комутацією.

Universal Backplane Management (UBM)

UBM забезпечує ідентичну структуру управління всім серверним сховищем незалежно від протоколу інтерфейсу (SAS, SATA чи NVMe) чи носія (жорсткі диски чи твердотільні накопичувачі).

Ось що дає UBM:

Локалізацію слота . Користувачеві легше визначити, де розташований диск, який потребує заміни або усунути інші можливі проблеми дискових слотів, кабелів, живлення.

Єдине кабельне підключення . У трирежимній конфігурації універсальний кабель підключається до всіх слотів дисків. Раніше доводилося прокладати певні кабелі до певних слотів дисків з урахуванням загальної довжини.

Управління світлодіодами . Світлодіодне кодування платформою UBM забезпечує видимий сигнал активності на кожному диску, включаючи збої, живлення тощо.

Скидання PCIe . На рівні шини PCIe скидається кожен пристрій, підключений до мосту PCIe, незалежно від того, чи нормально працюють накопичувачі. Платформа UBM дозволяє активувати скидання PCIe для певних слотів дисків, скидаючи лише ті диски, які цього потребують.

Режими синхронізації. З більш високими швидкостями передачі PCIe 3.0 і PCIe 4.0 все складніше підтримувати синхронізацію. Інфраструктура UBM може налаштувати пристрої зберігання для використання традиційної мережі тактування PCIe, або вбудовування тактових сигналів безпосередньо в високошвидкісні сигнали - для зменшення електромагнітних перешкод.

Швидкісний доступ до NVMe SSD існував до UBM і без UBM, як і світлодіодна індикація з коректним відпрацюванням гарячої заміни (за рахунок VPP для NVMe та SGPIO для SAS/SATA, сигнальних засобів керування через I2C). З високочастотними перешкодами борються не користувачі, а розробники платформ, оптимізуючи дизайн та довжину кабелів. Кабельним підключенням користувачі теж не займаються - це роблять постачальники серверів.

Cui prodest?

Лукавство «консорціуму U.3» полягає в тому, що трирежимні контролери стають обов'язковою частиною сервера і роблять відчутний внесок у кошторис (Bill of Material). Це дещо знецінює міркування про економію на кабелях та комфорт «непідготовленого» користувача. Відкритим залишається питання, що робити, якщо потреби у продуктивності виходять за рамки 16 ліній PCIe, які доступні хосту для обслуговування накопичувачів – адже вже чотири NVMe x4 виїдають всю смугу пропускання.

Показовим є демарш інженерів Dell U.2 – Still the Industry Standard in 2.5” NVMe SSDs – він розвіює ілюзії, що U.3 годиться на роль перехідного стандарту в NVMe-майбутнє. Трирежимне дискове господарство коштує дорого і не приносить відчутних переваг. Додавання NVMe до комбінації віртуальних дисків SAS і SATA за одним контролером має мало сенсу, оскільки твердотільні накопичувачі NVMe набагато продуктивніші, ніж SAS або SATA.

А що виробники SSD?

Їм байдуже, які робити – різниця в собівартості копійчана. U.2 та U.3 відрізняються не продуктивністю, а підключенням. До технологічного прогресу вибір між ними не має відношення - тільки до каналу поставок та властивостей обраних серверних платформ. Наприклад, гіперскейлери, якi самi собі на думці, замовляють виробникам SSD «лінійного» формату EDSFF – з міркувань щільності зберігання та тепловідведення.

Як бути?

Здорово оцінювати потреби своїх власних додатків та вибирати рішення відповідно до поточних запитів та можливостей. Не вестися на приписувані платформам U.3 зниження сукупної вартості володіння та захист інвестицій - технічний прогрес та уніфікація йдуть не в ногу. Ось з'явиться через рік у серверах шина PCIe Gen 5 - і піде прахом вся протидія однорідних бекплейнів U.3 електромагнітним перешкодам. Кожному часу свої рішення (а ф'ючерси – лайливе слово в ІТ).

З використанням матеріалів Broadcom та StorageReview.com