Еволюція RAID-контролерів

З поширенням NVMe потреба в апаратних RAID-контролерах мала б зникнути. Сучасні операційні системи підтримують програмні RAID-масиви, багатоядерні процесори забезпечують достатню обчислювальну потужність і разом із серверними платформами надають велику кількість ліній PCIe для підключення десятків NVMe-накопичувачів без додаткових посередників.

Проте на практиці контролери RAID-масивів залишаються важливим елементом серверної інфраструктури. Вони мають низку переваг перед програмними реалізаціями: прозоре керування масивами, апаратний моніторинг, кешування, прогнозування відмов SSD, автоматичне відновлення після збоїв, інтеграцію із засобами віддаленого адміністрування. Звичні практики керування корпоративними середовищами для багатьох компаній виявляються важливішими за потенційну втрату продуктивності та обмеження масштабованості NVMe-сховищ.

Контролери перехідного періоду

За усіх переваг NVMe індустрія не розлучається з екосистемою SAS. Принаймні, та ще довго покриватиме попит на зберігання великих обсягів даних. Співіснування NVMe та SAS/SATA в одній серверній інфраструктурі приймає різні форми залежно від кола завдань.

Гіперскейлери йдуть своїм шляхом: самостійно облаштовують хмарні сервіси, адаптують програмно-керовану архітектуру серверів під властивий їм трафік даних, навіть проєктують власні процесори.

Масовому ринку потрібні типові рішення. Наразі стандартним засобом керування сховищами даних серверів є контролери Broadcom Tri-mode RAID — компроміс перехідного періоду між епохою SAS/SATA та часами NVMe. Broadcom, провідний виробник контролерів RAID та водночас власник VMware, міцно тримає позиції у корпоративних стайнях, напряму та через основних серверних вендорів: Dell, HPE, Lenovo, Supermicro.

Сутність технології Tri-Mode полягає в тому, що її високошвидкісний інтерфейс передавання даних (SerDes PHY) може працювати в трьох різних режимах: SAS, SATA, NVMe (PCIe). Фізичний трансивер контролера автоматично визначає тип підключеного пристрою та конфігурує PHY у потрібний режим, перемикаючи сигнальні протоколи, швидкості, кодування. Tri-Mode не перетворює магічним чином SAS або SATA на NVMe, протоколи все ще різні. Інтеграція логіки SAS/SATA у PCIe PHY посилює роль контролера у керуванні даними, навіть попри те, що додавання NVMe до комбінації дисків SAS і SATA на одниму контролері має мало сенсу.

Шина PCIe, одна на всіх

Перехід на NVMe дає низькі затримки, величезний паралелізм, масштабування продуктивності, прямий доступ до даних без вузьких місць SAS/SATA-архітектури. NVMe працює поверх шини PCIe, кожне нове покоління якої отримує подвоєну пропускну здатність.

Хоча серверний CPU обслуговує 64–160 ліній PCIe, великому масиву напряму підключених NVMe SSD x4 навіть цієї кількості може не вистачити. У серверах із кількома GPU x16 — й поготів. Деякі виробники серверів додають до старших платформ комутатори PCIe - вони дозволяють багатьом пристроям спільно використовувати обмежену кількість ліній процесора. PLX-комутатор не створює додаткові лінії фізично, він мультиплексує доступну пропускну здатність між пристроями. У реальних системах це є прийнятним - NVMe SSD рідко працюють на піковій швидкості одночасно, а більшість операцій дрібні, довільного доступу, де практична затримка (latency) важливіша за теоретичну пропускну здатність (throughput).

Типовий контролер Broadcom MegaRAID 9560-16i x8 PCIe Gen4 ділить шинний ресурс між всіма підключеними до нього носіями. Масивам SAS/SATA ширини шини вистачає, проте вже чотирьом NVMe x4 потрібна допомога внутрішньої логіки для поділу смуги на шляху даних. Фактично сучасні контролери виконують частину функцій класичних PLX-чипів: комутацію пакетів, шинний арбітраж, перепідписку, керування чергами. Проте якщо всі чотири SSD одночасно почнуть читати/писати на повній швидкості, підключення x8 стане вузьким місцем. Контролер не може «намалювати» додаткову пропускну здатність, він лише ефективно ділить наявну.

Комбінації RAID-контролерів із зовнішніми комутаторами PCIe дозволяють фізично обслуговувати десятки NVMe. Втім, поділ уже поділеного коридору шинного підключення стримує продуктивність.

Альтернативи

В AI-серверах, гіперконвергентній інфраструктурі, розподілених сховищах використовують програмний RAID, реплікацію, erasure coding. Сучасні CPU достатньо потужні, NVMe SSD забезпечують продуктивність власними силами, Linux mdraid/ZFS працюють добре, залежність від вендорів обладнання менша, масштабування сховищ простіше.

З апаратних спроб кардинального переосмислення RAID часів NVMe можна згадати SupremeRAID від GRAID Technology та Adaptec SmartRAID 4300 від Microchip Technology. На відміну від традиційних контролерів, вони не мають фізичних портів чи роз'ємів для підключення дисків. Дані передаються між центральним процесором та кожним NVMe SSD безпосередньо по шині PCIe, що повністю усуває класичне вузьке місце традиційної архітектури — транзит усіх даних через один ASIC. Внеском альтернативних контролерів є обчислення парності. Розподіл трафіку забезпечує драйвер RAID.

Цікаво, що основою SupremeRAID є звичайні графічні прискорювачі NVIDIA. Масово паралельні векторизовані операції над великими масивами даних XOR добре уживаються з архітектурою GPU.

Приклади RAID-контролерів Broadcom

Клони контролерів Broadcom від серверних вендорів мають інші назви та формати виконання, але суть і ролі від цього не змінюються.

Broadcom MegaRAID 9520-2M2. Призначений для створення завантажувального тома RAID 0, 1 із двох M.2 NVMe або SATA SSD. Відокремлення операційної системи від основного сховища даних дає гнучкість керування та знижує ризики простою.

Broadcom MegaRAID 9560 та 9660. Поточний стандарт апаратного Tri-mode RAID. Підтримують накопичувачі SAS, SATA та NVMe, забезпечують створення RAID-масивів рівнів 0, 1, 5, 6, 10, 50 і 60, виконують апаратне обчислення парності, кешування операцій введення-виведення та автоматичне відновлення даних після відмов накопичувачів.

Broadcom MegaRAID 9760W. Новітній Tri-Mode RAID-контролер на базі інтерфейсу PCIe Gen 5. Розроблений для корпоративних серверів із екстремальними вимогами до дискової підсистеми (NVMe SSD, 24G SAS та SATA). Підтримує RAID-масиви рівнів 0, 1, 5, 6, 10, 50 і 60, виконує апаратне обчислення парності, кешування операцій введення-виведення, автоматичне відновлення даних після відмов накопичувачів, підтримує сучасні механізми захисту даних та інформаційної безпеки.

Його головні відмінності:

• Продуктивність. Завдяки переходу на шину PCIe Gen 5 та новому двоядерному чіпу ARM A5 (ASIC SAS5132W/SAS5116W) швидкість читання з довільним доступом зросла у 2 рази порівняно з минулим поколінням, випадкового запису у складних масивах типу RAID 5 та RAID 6 — у 5 разів. За заявами виробника, чіп здатний видавати до 14 мільйонів IOPS, повністю задіючи пропускну здатність слота x16 PCIe Gen 5.

• Інтегрований кеш замість зовнішнього. Broadcom відмовилася від розпаяних на платі чипів оперативної пам’яті (DDR) для кешування. Тепер використовується On-Chip Integrated RAID Cache об’ємом 24 МБ безпосередньо в самому кристалі процесора. Це має знизити затримки запису та усунути вузьке місце у пропускній здатності пам’яті.

• Суперконденсатор на самій платі. Модуль захисту кешу з акумулятором резервного живлення тепер встановлюється безпосередньо на текстоліт карти, що робить конструкцію монолітною та економить місце в сервері.

• Рекордна щільність NVMe-портів. Версія 9760W-32i є унікальною на ринку, оскільки дозволяє напряму підключити до 32 пристроїв NVMe через два компактні роз’єми SFF-TA-1016 x16 без використання додаткових комутаторів.

Виглядає так, ніби Broadcom поступово відходить від практики «універсальних контролерів для усіх». Попри наявну всеїдність контролерів, метою є ефективна робота з великими масивами саме NVMe SSD.  

Памʼять RAID-контролерів

Історично головною причиною появи власної DRAM у складі контролерів було кешування із відкладеним записом (write-back) - основний засіб компенсувати повільний відгук механічних дисків. Динамічну пам’ять захищають суперконденсатором (раніше BBU) для уникнення втрати даних при знеструмленні.

Наявність великого кешу 4-8 ГБ в сучасних RAID-контролерах є побічним наслідком універсалізму, «даниною» масивам SAS/SATA-дисків. Масивам NVMe SSD кешування на RAID-контролері не допомагає – вони самі забезпечують величезний паралелізм, мають низькі затримки, власний DRAM/SLC-кеш та захист від втрати живлення, здатні працювати з тисячами паралельних черг і величезною кількістю одночасних команд. Власна памʼять все ще потрібна - під метадані, буферизацію службових операцій, таблиці відображення, телеметрію. Але не така і не стільки.

Саме тому Broadcom у новому поколінні 9760W відмовилася від зовнішньої пам’яті на користь невеликого інтегрованого кешу в самому RoC (RAID on Chip). З думкою про дезагрегацію сховищ та відокремленням RAID-масивів SAS / SATA на контролерах попередніх поколінь.

В сучасних контролерах можна активувати політики запису та читання: Write Back - кешування запису (потребує обов’язкового захисту пам’яті),  Cached I/O - копіювання блоків даних у кеш на випадок повторного читання. Користь усіх цих опцій для SSD значно менша, ніж для HDD. А для NVMe її немає взагалі, за винятком суто гіпотетичних сценаріїв із RAID 5/6 та великою кількістю інтенсивних дрібних записів довільного доступу до баз даних OLTP.

Практичною рекомендацією для масивів NVMe RAID є пряма робота з носіями: Write Through з безпосереднім записом на диски та Direct I/O, читання без операцій у кеш-пам’яті. Справа контролера – передавати дані, його кеш залишається доступним для службових задач.

То кому потрібен апаратний RAID?

Стрімке поширення NVMe SSD змінює ставлення до RAID-контролерів. У недорогих серверах вистачає програмного або інтегрованого RAID. В AI-серверах із пануванням NVMe апаратний RAID заважає продуктивності, додає затримки, вартість і потенційну точку відмови.

Оплотом апаратного RAID залишається корпоративний сегмент із його консервативними вимогами до керованості, сумісності та надійності. Споживачі хочуть завантаження з NVMe-дзеркала, простого адміністрування, прозорого відновлення даних, інтеграції з BMC, прогнозування відмов та зручного моніторингу. Вони надають перевагу сучасним апаратним контролерам із потужними RoC та централізованою логікою керування даними на шині PCIe.

Поле застосування контролерів RAID звужується, але не зникає.