Конец всеядности RAID-контроллеров

Несмотря на все преимущества прямого подключения высокоскоростных NVMe SSD к шине PCIe, RAID-контроллеры до сих пор остаются важным элементом корпоративной серверной инфраструктуры. Архитектура Tri-Mode позволяет одному контроллеру работать с SAS-, SATA- и NVMe-накопителями, реализуя преемственность, централизованное управление тремя классами носителей, защиту данных.

Переход затянулся

Классические аппаратные RAID-контроллеры имели устоявшуюся архитектуру, которая почти не изменялась в течение десятилетий:

Host CPU → PCIe x8 (x16) → ROC (IOP + XOR) + DDR Cache + SuperCap/BBU + ROM + SAS PHY/SATA PHY + SAS Expander (опционально) → HDD/SSD

Центральный процессор RAID-контроллера (IOP или ROC) выполнял вычисление четности RAID 5/6, управлял операциями ввода-вывода и восстановлением массива после сбоев. В памяти DRAM хранились промежуточные данные. От потери питания ее защищали аккумуляторные батареи (BBU), впоследствии их вытеснили суперконденсаторы.

Для HDD такая архитектура была и остается эффективной. Кэширование записи Write Back значительно увеличивает производительность механических дисков: контроллер накапливает записи в DRAM, объединяет их, вычисляет четность и выполняет запись на диски большими последовательными блоками.

Появление твердотельных накопителей все изменило. Сначала SAS/SATA SSD, а впоследствии NVMe устранили нужду в части функций, ранее выполняемых RAID-контроллером. У каждого современного серверного SSD есть свой процессор, Flash Translation Layer (FTL), DRAM и защита от потери питания (Power Loss Protection, PLP). RAID-контроллер больше не является «умным вычислителем», постепенно превращаясь в коммутатор, диспетчер и процессор управления.

Технология Tri-Mode адаптировала классическую архитектуру. Высокоскоростной интерфейс SerDes PHY получил поддержку физического уровня PCIe, поверх которого работает протокол NVMe, наряду с SAS и SATA. Современные контроллеры автоматически определяют тип подключенного накопителя и переключают соответствующий физический интерфейс, транспортный протокол, скорость передачи данных и схемы кодирования.

Tri-mode RAID обеспечивает единое управление SAS-, SATA- и NVMe-накопителями, поддерживает горячую замену, LED-индикацию, мониторинг, кэширование и другие корпоративные функции. Интеграция поддержки трех интерфейсов в одном контроллере удовлетворила потребности корпоративного сегмента, где управляемость, совместимость и надежность традиционно ценятся выше максимальной производительности.

Универсальность всегда означает компромисс. Tri-mode RAID-контроллер пытается одинаково эффективно работать с тремя принципиально разными интерфейсами, хотя добавление NVMe к комбинации дисков SAS/SATA на одном контроллере имеет мало смысла. Поддержка нескольких PHY для PCIe, SAS и SATA, дополнительные программные слои и большой объем бортовой памяти для обслуживания HDD увеличивают себестоимость контроллера, ложатся в виде лишних затрат на потребителя и мешают погоне за производительностью.

Что досаднее всего, Tri-Mode не устраняет главное архитектурное ограничение – узкое место контроллера-посредника на пути данных. Даже усугубляет: скоростные устройства, созданные для прямого доступа через PCIe, получают дополнительный промежуточный слой с собственной логикой обработки и очередями.

Память RAID-контроллеров

Массивам NVMe SSD традиционное кэширование на RAID-контроллере не дает преимущества. Современные NVMe-накопители сами обеспечивают низкие задержки, параллелизм, имеют собственную DRAM и защиту от потери питания (PLP). Оптимальна прямая работа NVMe RAID с носителями: Write Through   с немедленной записью на носитель и   Direct I/O, чтение без промежуточного кэширования контроллером.

Почему тогда на контроллерах Broadcom и их производных устанавливают 4–8 ГБ DRAM?

Большой объем памяти современных RAID-контроллеров – это наследие всеядности, дань HDD. Основное ее предназначение – Write Back Cache. Контроллер временно хранит в DRAM еще не записанные на диски данные, но уже подтверждает операционной системе завершение операций записи. Это позволяет значительно ускорить работу массивов с медленными HDD, особенно при записи произвольного доступа.

Суперконденсатор нужен для того, чтобы при внезапном исчезновении питания перенести незаписанные данные из DRAM в энергонезависимую память контроллера и сохранить их до момента возобновления работы системы.

Собственная память современного RAID-контроллера используется не только для кэширования данных. В DRAM размещаются очереди команд NVMe/SAS/SATA, DMA-дескрипторы, RAID-метаданные, адреса, служебные буферы, журналы событий, структуры фоновых операций – rebuild, consistency check и т.д.

В отличие от пользовательских данных, чье временное размещение в кэше заставляет защищать кэш, служебные данные не являются критическими. После перезагрузки контроллер считывает конфигурацию RAID с накопителей, восстанавливает информацию о массивах, строит новые таблицы и формирует очереди команд. Сохранение служебной области памяти при потере питания не имеет практического смысла.

Интересен вопрос - какая доля памяти современных рейд-контроллеров используется под кэш I/O, а какая - под внутренние нужды управления. Хотя производители не документируют распределение памяти контроллера, подавляющая часть 4-8 ГБ DRAM, по-видимому, предназначена именно для Write Back Cache. Служебные структуры, даже в конфигурациях с большим количеством SSD, обычно занимают значительно меньший объем до десятков мегабайт.

Переосмысление RAID

Новейший RAID-контроллер Broadcom MegaRAID 9760W на базе интерфейса PCIe Gen 5 разработан для корпоративных серверов с высокими требованиями к дисковой подсистеме. Он все еще Tri-mode (NVMe SSD, 24G SAS и SATA).

Его главные отличия:

• Улучшенная производительность благодаря переходу на шину PCIe Gen 5 и новому ASIC SAS5132W/SAS5116W.

• Новая архитектура памяти. Интегрированный кэш объемом 24 МБ непосредственно в самом кристалле процессора вместо наружного 4-8 ГБ DDR4.

• Интегрированная защита кэша. CacheVault с резервным питанием и энергонезависимой памятью установлен прямо на плате контроллера.

• Рекордная плотность портов NVMe. Версия 9760W-32i позволяет напрямую подключить к 32 устройствам NVMe через два компактных разъема SFF-TA-1016 x16 без дополнительных коммутаторов.

Похоже, Broadcom постепенно отходит от концепции "универсальных контроллеров для всех". Tri-mode остается для совместимости, но целью становится эффективная работа с большими массивами именно NVMe SSD.

Dell пошла еще дальше. Ее RAID-контроллер H975i серии PERC13 на том же чипсете Broadcom SAS5132W стал самым радикальным обновлением аппаратного RAID за более десяти лет. Предыдущие поколения PERC постепенно эволюционировали, увеличивая пропускную способность в соответствии с развитием PCIe, в то время как базовая архитектура влекла наследие SATA и SAS. Dell PERC H975i решительно рвет с прошлым, поддерживая только NVMe RAID. Отказ от отягчающих стандартов четко позиционирует контроллер под требования современных рабочих нагрузок – аналитику больших данных, высокопроизводительные базы данных, виртуализацию и системы искусственного интеллекта.

Лицом к производительности

Новая архитектура Broadcom демонстрирует смену приоритетов:

• Интегрированный кэш внутри RoC предназначен прежде всего для ускорения внутренних механизмов контроллера, а не традиционного кэширования больших объемов пользовательских данных.
• Использование потенциала PCIe Gen5 для ускорения передачи данных, DMA, управления очередями и обслуживания множества NVMe-устройств
• RoC превращается в высокопроизводительный процессор управления I / O вместо роли ускорителя медленных дисковых подсистем.

Broadcom отмечает, что интегрированный кэш обеспечивает более высокую пропускную способность и более низкую задержку по сравнению с памятью DDR предыдущих поколений контроллеров. Компания не пыталась заменить 4–8 ГБ DDR эквивалентным объемом встроенной памяти. Вместо большого кэша пользовательских данных новая архитектура делает ставку на небольшой, но более быстрый кэш внутренний кэш RoC, оптимизированный для служебных операций, обработки команд, управления I/O и, при необходимости, буферизации Write Back.

Тип памяти Broadcom не раскрывает. С точки зрения современной архитектуры ASIC, вероятно, что 24 MB Integrated RAID Cache реализован на памяти SRAM. В отличие от DRAM, такая память не требует циклической регенерации, имеет значительно меньшую задержку, обеспечивает высокую пропускную способность и может быть непосредственно интегрирована в кристалл ASIC. По такому принципу построены кэши L1/L2/L3 центральных процессоров.

SRAM, как и DRAM, является энергозависимой памятью. Разница состоит в способе хранения данных и характеристиках доступа. DRAM сохраняет бит в виде заряда конденсатора, который необходимо периодически обновлять, в то время как SRAM использует триггерные ячейки и не требует регенерации. При полном исчезновении питания оба типа памяти теряют свое содержимое.

Контроллеры Broadcom MegaRAID 9760W все еще остаются универсальными. Большого внешнего DDR-кэша уже нет, но механизм защиты памяти остался. Причина проста: контроллер продолжает поддерживать Write Back в сценариях, где он может дать преимущество – например, в традиционных SAS/SATA-конфигурациях или при работе с RAID-уровнями с интенсивными вычислениями четности.

Если контроллер используется для NVMe-массива в режиме Write Through+Direct I/O, классическая модель «большой DDR-кэш+суперконденсатор» теряет былую актуальность.

Ценностная развилка

Хотя распространение NVMe SSD существенно изменило роль аппаратных RAID-контроллеров в серверах, Broadcom и партнеры продолжают развивать их архитектуру, пытаясь одновременно удовлетворить требования корпоративных систем к производительности, надежности и управляемости.

Кажется, настал момент расхождения путей развития: NVMe и HDD больше не нуждаются в общей инфраструктуре. Универсальность Tri-mode RAID-контроллеров становится обузой для потребителей и производителей. Наследие SAS/SATA отягощает убедительность решений для современных центров обработки данных, ориентированных на NVMe. В то же время для систем с HDD наслоения Tri-mode, связанных с поддержкой NVMe, только усложняют конструкцию и увеличивают стоимость.

Разным типам носителей – разное предназначение: NVMe обеспечивают максимальную производительность, HDD – масштабируемость хранилищ, дешевых и энергоэффективных. Соответственно, им нужны разные контроллеры, а, в общем-то, разные серверы.

«Это все уже было». У известного поэта гетман Мазепа размышлял так : «В одну телегу впрячь не можно коня и трепетную лань».