Эволюция RAID-контроллеров

С распространением NVMe потребность в аппаратных RAID-контроллерах могла бы исчезнуть. Современные операционные системы поддерживают программные RAID-массивы, многоядерные процессоры обеспечивают достаточную вычислительную мощность и вместе с серверными платформами предоставляют большое количество линий PCIe для подключения десятков NVMe-накопителей без дополнительных посредников.

Однако на практике контроллеры RAID-массивов остаются важным элементом серверной инфраструктуры. Они обладают рядом преимуществ перед программными реализациями: прозрачное управление массивами, аппаратный мониторинг, кэширование, прогнозирование отказов SSD, автоматическое восстановление после сбоев, интеграцию со средствами удаленного администрирования. Привычные практики управления корпоративными средами для многих компаний оказываются важнее потенциальной потери производительности и ограничения масштабируемости NVMe-хранилищ.

Контроллеры переходного периода

При всех преимуществах NVMe индустрия не расстается с экосистемой SAS. По крайней мере, та еще долго будет покрывать спрос на хранение больших объемов данных. Сосуществование NVMe и SAS/SATA в одной серверной инфраструктуре принимает разные формы в зависимости от круга задач.

Гиперскейлеры идут своим путем: самостоятельно обустраивают облачные сервисы, адаптируют программно управляемую архитектуру серверов под свойственный им трафик данных, даже проектируют собственные процессоры.

Массовому рынку требуются типовые решения. Стандартным средством управления хранилищами данных серверов сегодня являются контроллеры Broadcom Tri-mode RAID — компромисс переходного периода между эпохой SAS/SATA и временами NVMe. Broadcom, ведущий производитель контроллеров RAID и одновременно владелец VMware, прочно удерживает позиции в корпоративных конюшнях, напрямую и через основных серверных вендоров: Dell, HPE, Lenovo, Supermicro.

Суть технологии Tri-Mode состоит в том, что ее высокоскоростной интерфейс передачи данных (SerDes PHY) может работать в трех разных режимах: SAS, SATA, NVMe (PCIe). Физический трансивер контроллера автоматически определяет тип подключенного устройства и конфигурирует PHY в нужный режим, переключая сигнальные протоколы, скорость, кодирование. Tri-Mode не превращает магическим образом SAS или SATA в NVMe, протоколы все еще разные. Интеграция логики SAS/SATA в PCIe PHY усиливает роль контроллера в управлении данными, даже несмотря на то, что добавление NVMe в комбинацию дисков SAS и SATA на одном контроллере имеет мало смысла.

Шина PCIe, одна на всех

Переход на NVMe дает низкие задержки, огромный параллелизм, масштабирование производительности, прямой доступ к данным без узких мест SAS/SATA-архитектуры. NVMe работает поверх шины PCIe, каждое новое поколение которой получает удвоенную пропускную способность.

Хотя серверный CPU обслуживает 64–160 линий PCIe, большому массиву напрямую подключенных NVMe SSD x4 даже этого количества может не хватить. В серверах с несколькими GPU x16 — и подавно. Некоторые производители серверов добавляют к старшим платформам коммутаторы PCIe – они позволяют многим устройствам совместно использовать ограниченное количество линий процессора. PLX-коммутатор не создает дополнительные линии физически, он мультиплексирует доступную пропускную способность между устройствами. В реальных системах это приемлемо - NVMe SSD редко работают на пиковой скорости одновременно, а большинство операций мелкие, произвольного доступа, где практическая задержка (latency) важнее теоретической пропускной способности (throughput).

Типичный контроллер Broadcom MegaRAID 9560-16i x8 PCIe Gen4 разделяет шинный ресурс между всеми подключенными к нему носителями. Массивам SAS/SATA ширины шины хватает, однако уже четырем NVMe x4 нужна помощь внутренней логики для разделения полосы на пути данных. Фактически современные контроллеры выполняют часть функций классических PLX-чипов: коммутацию пакетов, шинный арбитраж, переподписку, управление очередями. Однако, если все четыре SSD одновременно начнут читать/писать на полной скорости, подключение x8 станет узким местом. Контроллер не может «нарисовать» дополнительную пропускную способность, он только эффективно делит имеющуюся.

Комбинации RAID-контроллеров с внешними коммутаторами PCIe позволяют физически обслуживать десятки NVMe. Впрочем, разделение уже разделенного коридора шинного подключения сдерживает производительность.

Альтернативы

В AI-серверах, гиперконвергентной инфраструктуре, распределенных хранилищах используют программный RAID, репликацию, erasure coding. Современные CPU достаточно мощные, NVMe SSD обеспечивают производительность собственными силами, Linux mdraid/ZFS работают хорошо, зависимость от вендоров оборудования меньше, масштабирование хранилищ проще.

Из аппаратных попыток кардинального переосмысления RAID времен NVMe можно упомянуть SupremeRAID от GRAID Technology и Adaptec SmartRAID 4300 от Microchip Technology. В отличие от традиционных контроллеров, у них нет физических портов или разъемов для подключения дисков. Данные передаются между центральным процессором и каждым NVMe SSD непосредственно по шине PCIe, полностью устраняющей классическое узкое место традиционной архитектуры — транзит всех данных через один ASIC. Вкладом альтернативных контролеров является вычисление четности. Распределение трафика обеспечивает драйвер RAID.

Интересно, что в основе SupremeRAID лежат обычные графические ускорители NVIDIA. Массовые параллельные векторизированные операции над большими массивами данных XOR хорошо уживаются с архитектурой GPU.

Примеры RAID- контроллеров Broadcom

Клоны контроллеров Broadcom от серверных вендоров имеют другие названия и форматы исполнения, но суть и роли от этого не меняются.

Broadcom MegaRAID 9520-2M2. Предназначен для создания загрузочного тома RAID 0, 1 из двух M.2 NVMe или SATA SSD. Отделение операционной системы от основного хранилища данных дает гибкость управления и снижает риски простоя.

Broadcom MegaRAID 9560 и 9660. Текущий стандарт аппаратного Tri-mode RAID. Поддерживают накопители SAS, SATA и NVMe, обеспечивают создание RAID-массивов уровней 0, 1, 5, 6, 10, 50 и 60, выполняют аппаратное вычисление четности, кэширование операций ввода-вывода и автоматическое восстановление данных после отказов накопителей.

Broadcom MegaRAID 9760W. Новейший Tri-Mode RAID-контроллер на базе интерфейса PCIe Gen 5. Разработан для корпоративных серверов с экстремальными требованиями к дисковой подсистеме (NVMe SSD, 24G SAS и SATA). Поддерживает RAID-массивы уровней 0, 1, 5, 6, 10, 50 и 60, выполняет аппаратное вычисление четности, кэширование операций ввода-вывода, автоматическое восстановление данных после отказов накопителей, поддерживает современные механизмы защиты данных и информационной безопасности.

Его главные отличия:

• Производительность. Благодаря переходу на шину PCIe Gen 5 и новому двухъядерному чипу ARM A5 (ASIC SAS5132W/SAS5116W), скорость чтения с произвольным доступом выросла в 2 раза по сравнению с прошлым поколением, случайной записи в сложных массивах типа RAID 5 и RAID 6 — в 5 раз. По заявлениям производителя, чип способен выдавать до 14 миллионов IOPS, полностью задействуя пропускную способность слота x16 PCIe Gen 5.

• Интегрированный кэш вместо внешнего. Broadcom отказалась от распаянных на плате чипов оперативной памяти (DDR) для кэширования. Теперь используется On-Chip Integrated RAID Cache объемом 24 МБ прямо в самом кристалле процессора. Это должно снизить задержку записи и устранить узкое место в пропускной способности памяти.

• Суперконденсатор на самой плате. Модуль защиты кэша с аккумулятором резервного питания теперь устанавливается непосредственно на текстолит карты, что делает конструкцию монолитной и экономит место в сервере.

• Рекордная плотность портов NVMe. Версия 9760W-32i уникальна на рынке, поскольку позволяет напрямую подключить к 32 устройствам NVMe через два компактных разъема SFF-TA-1016 x16 без использования дополнительных коммутаторов.

Похоже, что Broadcom постепенно отходит от практики «универсальных контроллеров для всех». Несмотря на остающуюся всеядность контроллеров, целью является эффективная работа с большими массивами именно NVMe SSD.

Память RAID -контроллеров

Исторически главной причиной появления собственной DRAM в составе контроллеров было кэширование с отложенной записью (write-back) – основное средство компенсировать медленный отклик механических дисков. Динамическую память защищают суперконденсатором (ранее BBU) во избежание потери данных при обесточивании.

Наличие большого кэша 4-8 ГБ в современных RAID-контроллерах является побочным следствием универсализма, «данью» массивам SAS/SATA-дисков. Массивам NVMe SSD кэширование на RAID-контроллере не помогает – они сами обеспечивают огромный параллелизм, имеют низкие задержки, собственный DRAM/SLC-кэш и защиту от потери питания, способны работать с тысячами параллельных очередей и множеством одновременных команд. Собственная память все еще нужна – под метаданные, буферизацию служебных операций, таблицы отображения, телеметрию. Но не такая и не столько.

Поэтому Broadcom в новом поколении 9760W отказалась от внешней памяти в пользу небольшого интегрированного кэша в самом RoC (RAID on Chip). С мыслью про дезагрегацию хранилищ с отделением RAID-массивов SAS/SATA на контроллерах предыдущих поколений.

В современных контроллерах можно активировать политики записи и чтения: Write Back – кэширование записи (требует обязательной защиты памяти), Cached I/O – копирование блоков данных в кэш на случай повторного чтения. Польза ото всех этих опций для SSD значительно меньше, чем для HDD. А для NVMe ее нет вообще, за исключением чисто гипотетических сценариев с RAID 5/6 и множеством интенсивных мелких записей произвольного доступа к базам данных OLTP.

Практическая рекомендация для массивов NVMe RAID – прямая работа с носителями: Write Through с непосредственной записью на диски и Direct I / O, чтение без операций в кэш-памяти. Дело контролера – передавать данные, его кэш остается доступным для служебных задач.

Так кому нужен аппаратный RAID?

Стремительное распространение NVMe SSD изменяет отношение к RAID-контроллерам. В недорогих серверах хватает программного или встроенного RAID. В AI-серверах с доминированием NVMe аппаратный RAID мешает производительности, добавляет задержки, стоимость и потенциальную точку отказа.

Оплотом аппаратного RAID остается корпоративный сегмент с его консервативными требованиями к управляемости, совместимости и надежности. Потребители хотят загружаться с NVMe-зеркала, простого администрирования, прозрачного восстановления данных, интеграции с BMC, прогнозирования отказов и удобного мониторинга. Они предпочитают современные аппаратные контроллеры с мощными RoC и централизованной логикой управления данными на шине PCIe.

Поле применения контроллеров RAID сужается, но не исчезает.