Зарождение и расцвет рынка JBOD

Десять лет назад эксперт издания ZDnet Джейсон Перлоу (Jason Perlow) сделал «панковский» прогноз Анархии в хранении данных: будущее без SAN .

Речь шла о трансформации центров обработки данных во времена лавинообразного разрастания данных, особенно в регулируемых отраслях, нуждающихся в долгосрочном хранении цифровых активов в доступном состоянии.

В традиционной инфраструктуре объемные данные хранятся на дорогостоящем оборудовании SAN и NAS. Их дороговизна, несоответствие требованиям производительности и масштабируемости дали толчок альтернативе – распределенному программно-определенному хранению данных (SDS). Amazon Web Services, Microsoft Azure и Google Compute Engines изначально строили облачные хранилища без массивов EMC и NetApps. Они бы обанкротились, если бы это произошло. Вместо SAN и NAS там развернута архитектура хранилищ на стандартных компонентах: в коммутируемой инфраструктуре Ethernet управляют и обмениваются данными типовые серверы с подключенными к ним «кучами дисков». Так же поступили другие – в мире много генераторов больших данных.

Эволюция JBOD

Первоначально термином JBOD (Just a Bunch of Disks) называли просто совокупность дисков, режим работы обслуживающих их дисковых контроллеров. Затем JBOD воспринимался как расширение при серверах (DAS). Со временем название закрепилось за классом систем хранения данных, хотя JBOD не является самостоятельным «умным» хранилищем с собственным контроллером или файловой системой, это лишь «дом» (enclosure) для дисков, который подключается по SAS к серверу и предоставляет доступ к каждому диску отдельно.

Расцвет SDS повлек за собой усложнение самих хранилищ. При больших объемах хранения серверами с внутренними дисками не обойтись, данные выносятся в JBOD, подключенные по SAS к контроллерам управляющих серверов. Они способны обслуживать сотни дисков через систему экспандеров. Но не стоит сводить понятие JBOD к разновидности серверных корпусов с общими полками дисков и SAS-экспандерами. Современные JBOD – это специализированные устройства ответственного хранения данных: с двумя модулями ввода-вывода IOM, несколькими портами SAS на каждом из них, дублированным питанием, вентиляцией, экспандерами, путями к дискам. Они поддерживают зонирование (разбиение топологии на группы, для безопасности и распределения трафика), каскадирование (подключение нескольких хранилищ цепочкой), имеют автономное сервисное управление.

Для совместного использования JBOD несколькими серверами требуется комбинация SAS HBA, кластерной файловой системы и кластерного ПО (если JBOD подключить одновременно к нескольким серверам без специального софта, порча данных гарантирована).

Определенным толчком к переосмыслению роли JBOD в корпоративной инфраструктуре в свое время стала реализация в типичной ОС Microsoft Windows Server 2012 архитектуры масштабируемого файлового сервера Microsoft Scale-Out File Server (SOFS) для поддержки кластеров Hyper-V, SQL Server и общего обслуживания файлов среди других рабочих нагрузок. Общие дисковые корпуса SAS JBOD подключаются к узлам сервера хранения данных с помощью коммутируемого SAS. Стандартная сеть 10GbE подключает узлы сервера хранения данных и узлы серверов Hyper-V. Совместная сеть хранения данных SAS и локальные сети между серверами способствуют высокой доступности данных по резервным путям.

Источник StarWind

Что продвигает Microsoft, то обычно становится массовым. Сходные архитектуры хранилищ на основе JBOD предлагали также другие поставщики, такие как Nexenta или QuantaStor от OSNEXUS.

SAN и NAS были и остаются проверенными и надежными, но их гегемония обеспечения высокой производительности и устойчивого хранилища пошатнулась.

Применение JBOD​

• Центры обработки данных, облачные хранилища

"Сырьевые" хранилища для больших массивов данных (big data, видеоархивы, резервные копии), чаще всего – в сочетании с SDS (Ceph, Lustre, ZFS, GlusterFS, Microsoft Storage Spaces Direct, VMware vSAN). Охват решений – от холодного архива до высокопроизводительных файловых кластеров. JBOD с HDD – самый дешевый вариант хранить терабайты/петабайты данных в режиме cold storage.

• Медиа и развлечения

Медиа-индустрия имеет дело с большими файлами (видео, аудио и т.п.). JBOD обеспечивают масштабируемый и экономически эффективный способ управления хранилищем для рабочих процессов постпроизводства.

• Периферийные резервуары

Не все данные равноценны, достойны консолидации в крупных дата-центрах. Отсеивание «цифрового мусора» в промежуточных накопителях возле генераторов данных разгружает сетевой трафик и экономите расходы по хранению «пустой породы».

• Большие данные и искусственный интеллект

Исследования ИИ и Big Data имеют дело с петабайтами информации (изображения, видео, лог-файлы, телеметрия, сенсорные данные, результаты симуляций). С помощью JBOD создают большие емкости для первоначальных наборов данных, затем эти данные обрабатывают в распределенных файловых системах (HDFS, Ceph, Lustre, BeeGFS).

Основная масса мировых данных хранится на емких жестких механических дисках SAS/SATA 7200 об/мин. Под облачные сервисы, видеопроизводство, видеонаблюдение, резервное копирование, архивирование и т.п. тратятся огромные объемы HDD. Поскольку строительными блоками масштабируемых систем являются не отдельные диски, а их наборы под управлением операционной системы или RAID-контроллеров, создание образцовых «коммунальных жилищ» для данных именно со стороны производителей накопителей было естественным шагом.

Пример Western Digital

В октябре этого года исполняется десять лет с выхода Western Digital на рынок JBOD с платформой Data 60. За прошедшие годы она эволюционировала вместе с емкостью дисков и запросами времени.

Уже первое поколение JBOD-систем, тогда под названием HGST Data60, приобрело характерные черты: форм-фактор 4U, до 60 жестких дисков с верхней загрузкой и горячей заменой, два сменных модуля ввода-вывода, мощные резервированные блоки питания, полное дублирование критических компонентов. Были внедрены инженерные решения по нейтрализации наведенной вибрации. На дисках 8 ТБ дисков с гелиевым наполнением в одном компактном корпусе удавалось разместить до 480 ТБ данных – впечатляющая плотность хранения для своего времени.

Разрушительному влиянию наведенной вибрации вращения десятков шпинделей-соседей противостояла система виброизоляции дисков IsoVibe. Дисковые карманы также уменьшали вибрацию благодаря встроенным пружинам пластиковой рамы.

Во втором поколении HGST Data60 (2017 год) улучшилось управление питанием и вентиляцией, увеличилось количество портов SAS на модулях ввода-вывода. Емкость достигла 720 терабайт (60 дисков по 12 ТВ).

Третье поколение Western Digital Ultrastar Data60 (2020 год) получило новый дизайн, полностью переработанное внутреннее пространство. Для лучшего охлаждения дисков применена технология ArcticFlow для оптимизации воздушного потока, корпус JBOD разделен на зоны с отдельными вытяжками. Появился «старший брат» – Western Digital Ultrastar Data102, а также 4U, но большей глубины, вместимостью 102 диска.

Увеличение емкости и улучшение управляемости JBOD - заметные качества. В своих презентациях Western Digital постоянно обращает внимание на то, что остается в тени - технологии противостояния двум основным врагам механических дисков: вибрации и температуре.

Эрозия магнитной поверхности и разнос пыли с размножением дефектных блоков являются прямыми следствиями двух внешних воздействий. Ротационная вибрация возникает при раскрутке шпинделя HDD или внешнем воздействии, даже акустическом. Плотное размещение накопителей в компактном корпусе усиливает их взаимное влияние друг на друга. Когда магнитная головка смещается с трека под действием внешних факторов, микроконтроллер диска позиционирует ее заново, поэтому время чтения/записи данных значительно возрастает, теряется производительность.

Считается, что вероятность отказов механических дисков растет вдвое на каждые 15 градусов роста температуры. Архитектура хранилищ оказывается важнейшим фактором влияния на продолжительность жизни дисков. Это доказывает сравнение тепловых карт специализированных JBOD и хранилищ на основе типовых серверных корпусов:

В настоящее время готовится к выходу четвертое поколение платформы Western Digital Ultrastar Data60 3000 series , которое получило до 6 портов SAS 24G на каждый из двух IOM, вмещает до 1.8 ПБ данных, имеет новый уровень телеметрии, SMART-анализ, удаленный мониторинг через API/Redfish.

Могучая кучка

В мире не так много производителей, направленно уделяющих внимание развитию JBOD как отдельного класса серверного оборудования. Помимо Western Digital можно назвать Seagate, AIC, Quanta, InWin, Viking Enterprise Solutions.

Технологические усовершенствования JBOD идут путем увеличения емкости, обеспечения производительности, управляемости, интеграции с современными платформами NVMe-over-Fabrics через гибридные модели JBOD/JBOF.