Кінець всеїдності RAID-контролерів
Попри всі переваги прямого підключення високошвидкісних NVMe SSD до шини PCIe, RAID-контролери й досі залишаються важливим елементом корпоративної серверної інфраструктури. Архітектура Tri-Mode дозволяє одному контролеру працювати з SAS-, SATA- та NVMe-накопичувачами, реалізуючи наступність, централізоване керування трьома класами носіїв, захист даних.
Перехід затягнувся
Класичні апаратні RAID-контролери мали усталену архітектуру, яка майже не змінювалася протягом десятиліть:
Host CPU → PCIe x8 (x16) → ROC (IOP + XOR) + DDR Cache + SuperCap/BBU + ROM + SAS PHY/SATA PHY + SAS Expander (опціонально) → HDD/SSD
Центральний процесор RAID-контролера (IOP або ROC) виконував обчислення парності RAID 5/6, керував операціями введення-виведення та відновленням масиву після збоїв. У власній пам’яті DRAM зберігалися проміжні дані. Від втрати живлення її захищали акумуляторні батареї (BBU), згодом їх витіснили суперконденсатори.
Для HDD така архітектура була і залишається ефективною. Кешування запису Write Back суттєво підвищує продуктивність механічних дисків: контролер накопичує записи у DRAM, об'єднує їх, обчислює парність і виконує запис на диски великими послідовними блоками.
Поява твердотільних накопичувачів усе змінила. Спочатку SAS/SATA SSD, а згодом NVMe усунули потребу в частині функцій, які раніше виконував RAID-контролер. Кожен сучасний серверний SSD має власний процесор, Flash Translation Layer (FTL), DRAM і захист від втрати живлення (Power Loss Protection, PLP). RAID-контролер перестав бути «розумним обчислювачем» і дедалі більше перетворюється на комутатора, диспетчер та процесор керування.
Технологія Tri-Mode адаптувала класичну архітектуру. Високошвидкісний інтерфейс SerDes PHY отримав підтримку фізичного рівня PCIe, поверх якого працює протокол NVMe, поряд із SAS і SATA. Сучасні контролери автоматично визначають тип підключеного накопичувача та перемикають відповідний фізичний інтерфейс, транспортний протокол, швидкість передачі й схеми кодування.
Tri-mode RAID забезпечує єдине керування SAS-, SATA- та NVMe-накопичувачами, підтримує гарячу заміну, LED-індикацію, моніторинг, кешування й інші корпоративні функції. Інтеграція підтримки трьох інтерфейсів в одному контролері задовольнила потреби корпоративного сегмента, де керованість, сумісність і надійність традиційно цінуються вище за максимальну продуктивність.
Універсальність завжди означає компроміс. Tri-mode RAID-контролер намагається однаково ефективно працювати з трьома принципово різними інтерфейсами, хоча додавання NVMe до комбінації дисків SAS/SATA на одному контролері має мало сенсу. Підтримка кількох PHY для PCIe, SAS і SATA, додаткові програмні шари та великий обсяг бортової пам’яті для обслуговування HDD збільшують собівартість контролера, лягають у вигляді зайвих витрат на споживача і заважають гонитві за продуктивністю.
Найприкріше, Tri-Mode не усуває головне архітектурне обмеження – вузьке місце контролера-посередника на шляху даних. Навіть, посилює: швидкісні пристрої, створені для прямого доступу через PCIe, отримують додатковий проміжний шар із власною логікою обробки та чергами.
Памʼять RAID-контролерів
Масивам NVMe SSD традиційне кешування на RAID-контролері не дає переваги. Сучасні NVMe-накопичувачі самі забезпечують низькі затримки, паралелізм, мають власну DRAM та захист від втрати живлення (PLP). Оптимальною є пряма робота NVMe RAID з носіями: Write Through з негайним записом на носії та Direct I/O, читання без проміжного кешування контролером.
Чому ж тоді на контролерах Broadcom та їхніх похідних встановлюють 4–8 ГБ DRAM?
Великий обсяг пам’яті сучасних RAID-контролерів – це спадщина всеїдності, данина HDD. Основне її призначення - Write Back Cache. Контролер тимчасово зберігає в DRAM ще не записані на диски дані, але вже підтверджує операційній системі завершення операцій запису. Це дозволяє значно прискорити роботу масивів із повільними HDD, особливо під час записів довільного доступу.
Суперконденсатор потрібен для того, щоб у разі раптового зникнення живлення перенести незаписані дані з DRAM у енергонезалежну пам’ять контролера та зберегти їх до моменту відновлення роботи системи.
Власна пам'ять сучасного RAID-контролера використовується не лише для кешування даних. У DRAM розміщуються черги команд NVMe/SAS/SATA, DMA-дескриптори, RAID-метадані, карти смуг (stripe maps), службові буфери, журнали подій, структури фонових операцій - rebuild, consistency check тощо.
На відміну від користувацьких даних, чиє тимчасове розміщення у кеші змушує захищати кеш, службові дані не є критичними. Після перезавантаження контролер заново зчитує конфігурацію RAID із накопичувачів, відновлює інформацію про масиви, будує нові таблиці та формує черги команд. Збереження службової області пам'яті при втраті живлення не має практичного сенсу.
Цікавим є питання - яка частка памʼяті сучасних рейд-контролерів використовується під кеш I/O, а яка – під внутрішні потреби керування. Хоча виробники не документують розподіл пам’яті контролера, переважна частина 4-8 ГБ DRAM, очевидно, призначена саме для Write Back Cache. Службові структури, навіть у конфігураціях із великою кількістю SSD, зазвичай займають значно менший обсяг - до десятків мегабайт.
Переосмислення RAID
Новітній RAID-контролер Broadcom MegaRAID 9760W на базі інтерфейсу PCIe Gen 5 розроблений для корпоративних серверів із найвищими вимогами до дискової підсистеми. Він все ще Tri-mode (NVMe SSD, 24G SAS та SATA).
Його головні відмінності:
• Покращена продуктивність завдяки переходу на шину PCIe Gen 5 та новому ASIC SAS5132W/SAS5116W.
• Нова архітектура пам’яті. Інтегрований кеш об’ємом 24 МБ безпосередньо в самому кристалі процесора замість зовнішнього 4-8 ГБ DDR4.
• Інтегрований захист кешу. CacheVault із резервним живленням і енергонезалежною пам’яттю встановлений безпосередньо на платі контролера.
• Рекордна щільність NVMe-портів. Версія 9760W-32i дозволяє напряму підключити до 32 пристроїв NVMe через два компактні роз’єми SFF-TA-1016 x16 без додаткових комутаторів.
Схоже, Broadcom поступово відходить від концепції «універсальних контролерів для всіх». Tri-mode залишається для сумісності, але метою стає ефективна робота з великими масивами саме NVMe SSD.
Dell пішла ще далі. Її RAID-контролер H975i серії PERC13 на тому самому чипсеті Broadcom SAS5132W став найрадикальнішим оновленням апаратного RAID за понад десять років. Попередні покоління PERC поступово еволюціонували, збільшуючи пропускну здатність відповідно до розвитку PCIe, тоді як базова архітектура волочила спадщину SATA та SAS. Dell PERC H975i рішуче рве з минулим, підтримуючи лише NVMe RAID. Відмова від обтяжувальних стандартів чітко позиціонує контролер під вимоги сучасних робочих навантажень - аналітику великих даних, високопродуктивні бази даних, віртуалізацію та системи штучного інтелекту.
Обличчям до продуктивності
Нова архітектура Broadcom демонструє зміну пріоритетів:
- Інтегрований кеш усередині RoC призначений насамперед для прискорення внутрішніх механізмів контролера, а не традиційного кешування великих обсягів користувацьких даних.
- Використання потенціалу PCIe Gen5 для прискорення передачи даних, DMA, керування чергами та обслуговування величекої кількості NVMe-пристроїв
- RoC перетворюється на високопродуктивний процесор керування I/O, замість ролі прискорювача повільних дискових підсистем.
Broadcom зазначає, що інтегрований кеш забезпечує вищу пропускну здатність і нижчу затримку порівняно з пам’яттю DDR попередніх поколінь контролерів. Компанія не намагалася замінити 4–8 ГБ DDR еквівалентним обсягом інтегрованої пам'яті. Замість великого кешу користувацьких даних нова архітектура робить ставку на невеликий, але значно швидший кеш внутрішній кеш RoC, оптимізований для службових операцій, обробки команд, керування I/O та, за необхідності, буферизації Write Back.
Тип пам'яті Broadcom не розкриває. З огляду на сучасну архітектуру ASIC, ймовірно, що 24 MB Integrated RAID Cache реалізований на пам’яті SRAM. На відміну від DRAM така пам’ять не потребує циклічної регенерації, має значно меншу затримку, забезпечує високу пропускну здатність та може бути безпосередньо інтегрована в кристал ASIC. За таким принципом побудовані кеші L1/L2/L3 центральних процесорів.
SRAM, як і DRAM, є енергозалежною пам'яттю. Різниця полягає способі зберігання даних та характеристиках доступу. DRAM зберігає біт у вигляді заряду конденсатора, який необхідно періодично оновлювати, тоді як SRAM використовує тригерні комірки й не потребує регенерації. При повному зникненні живлення обидва типи пам’яті втрачають свій вміст.
Контролери Broadcom MegaRAID 9760W все ще залишаються універсальними. Великого зовнішнього DDR-кешу вже немає, але механізм захисту пам’яті залишився. Причина проста: контролер продовжує підтримувати Write Back у сценаріях, де він може дати перевагу - наприклад, у традиційних SAS/SATA-конфігураціях або під час роботи з RAID-рівнями з інтенсивними обчисленнями парності.
Якщо контролер використовується для NVMe-масиву у режимі Write Through + Direct I/O, класична модель «великий DDR-кеш + суперконденсатор» втрачає колишню актуальність.
Ціннісне роздоріжжя
Хоча поширення NVMe SSD суттєво змінило роль апаратних RAID-контролерів у серверах, Broadcom та партнери продовжують розвивати їхню архітектуру, намагаючись одночасно задовольнити вимоги корпоративних систем до продуктивності, надійності та керованості.
Здається, настав момент розходження шляхів розвитку: NVMe та HDD більше не потребують спільної інфраструктури. Універсальність Tri-mode RAID-контролерів стає тягарем для споживачів і виробників. Спадщина SAS/SATA обмежує переконливість рішень для сучасних центрів обробки даних, орієнтованих на NVMe. Водночас для систем з HDD нашарування Tri-mode, пов'язані із підтримкою NVMe, лише ускладнюють конструкцію та збільшують вартість.
Різним типам носіїв – різне призначення: NVMe забезпечують максимальну продуктивність, HDD – масштабованість сховищ, дешевих та енергоефективних. Відповідно, їм потрібні різні контролери, а, взагалі-то, різні сервери.
«Це ж було вже». У відомого поета гетьман Мазепа розмірковував так: «В одну телегу впрячь не можно коня и трепетную лань».