Распространение технологии SMR в хранении данных: вызовы и реализации

Количество данных в мире продолжает расти взрывными темпами. По оценкам аналитиков, по состоянию на начало 2026 г. глобальный объем цифровых данных уже приблизился к 200 зетабайтам (ZB). Только за последний год в глобальный «цифровой океан» было добавлено около 30% новой информации. Для сравнения: в 2018 году общий объем цифровых данных впервые превысил 33 ZB, а сегодня такие объемы проходят через дата-центры в считанные месяцы.

Видео 4K и 8K с камер наблюдения и смартфонов, данные миллионов сенсоров Интернета вещей (IoT), истории мессенджеров, электронные документы, облачные резервные копии – все это генерирует данные круглосуточно, без перерывов. Добавьте к этому бесконечный поток сгенерированного видео из социальных сетей: миллионы часов роликов о поющих и танцующих котиках.

Емкость корпоративных хранилищ пожирают не классические базы данных или серверы электронной почты, а новые, чрезвычайно «плодовитые» сценарии: машинное обучение, генеративное ИИ, видеонаблюдение в реальном времени, умные города, складские системы, геопространственный анализ. Только для обучения современным нейронным сетям необходимо хранить петабайты немодифицированных данных. Облачный бекап становится стандартом не только для бизнес-пользователей, но и для обычных потребителей.

Источник: Western Digital

Со стремительным расширением цифрового мира вопросом номер один для облачных провайдеров, дата-центров и корпоративных ИТ становится не просто накопление данных, а эффективность их хранения. Ограничения электроэнергии, площади, реальные тарифы и административное давление на энергосбережение заставляют искать новые технологии для повышения плотности хранилищ.

SMR: физическая подоплека, преимущества, «костыли»

Хранение информации – это не только вопрос бюджета, но и постоянная борьба физиков и инженеров с фундаментальными ограничениями. Например, чтобы увеличить плотность записи на магнитных дисках, нужно уменьшать размеры отдельных «зернышек» — хранящих биты магнитных доменов. Но если сделать их слишком малыми, они потеряют устойчивость к тепловым колебаниям и начнут случайно переворачиваться. Данные превратятся в шум.

Чтобы обойти этот предел, инженеры используют материалы с высокой коэрцитивностью (устойчивы к размагничиванию). Однако для их записи нужно создать гораздо более сильное магнитное поле. Здесь возникает следующая проблема: записывающая головка не может быть слишком узкой, в противном случае ее магнитное поле будет недостаточным для изменения состояния высокоустойчивых доменов. Поэтому головки делают шире - со значительной индукцией на уровне 1-2 тесла (для сравнения: магнитное поле Земли в миллион раз слабее). В то же время, считывающая головка может оставаться узкой, ведь ей нужно лишь «чувствовать» поле, а не создавать его.

Когда инженеры уперлись в физический потолок плотности записи, пришлось прибегать к уловкам. Так появилась технология SMR (Shingled Magnetic Recording) – черепичная магнитная запись. Ее суть состоит в том, что широкая записывающая головка используется для записи дорожек «внахлест», подобно черепице на крыше. В то же время считывающая головка остается узкой.

Реализованные в SMR инженерные «костыли» позволили преодолеть физический предел плотности записи за счет определенных компромиссов — прежде всего снижение скорости случайной записи — но с сохранением относительной простоты конструкции традиционных HDD.

Инженеры постоянно совершенствуют технологии, одна из новых - HAMR (Heat-Assisted Magnetic Recording), где используется локальный нагрев для повышения плотности без потери скорости. Но это уже совсем другая история. HAMR не является отдельной или отличной концепцией от SMR. Это новая технология записи. Будут диски на основе HAMR, как CMR, так и SMR. Диски HAMR SMR будут большей емкости, чем диски HAMR CMR.

В традиционной магнитной записи CMR (Conventional Magnetic Recording) данные организованы в отдельные дорожки, между которыми имеется узкий защитный промежуток (гард-бэнд). Это обеспечивает возможность произвольной записи и перезаписи в любой сектор без повреждения соседних дорожек. Однако, поскольку записывающая головка шире, дорожки также шире, чем это необходимо для считывания.

В дисках SMR записывающая головка шире считывающей, и именно эта разница позволяет уплотнять размещение данных.

Источник: Western Digital

Производители HDD имеют разные технологические приоритеты, однако имеющиеся признаки свидетельствуют об активном росте сегмента SMR. В частности, более 50% суммарной емкости дисков, поставляемых компанией Western Digital, уже приходится на SMR-решения, и ожидается дальнейшее увеличение этой доли.

В то же время прямая замена традиционных жестких дисков с технологией CMR на SMR невозможна без просмотра подходов к архитектуре программного обеспечения и организации процессов хранения данных.

Борьба с ограничениями

Оборотной стороной повышения плотности хранения в пределах того же физического пространства является снижение производительности записи. 

В традиционных HDD операции записи максимально гибки: данные можно изменять в произвольном порядке, в любом секторе и в любой момент. На протяжении десятилетий файловые системы, операционные системы и прикладное программное обеспечение формировались именно вокруг этой модели произвольной записи.

Технология SMR меняет установившийся порядок. Для уменьшения накладных расходов на перезапись используется зонирование: диск делится на отдельные области (зоны), в пределах которых допускается последовательная запись. Обновление данных ограничивается пределами конкретной зоны, однако даже в этом случае операции производятся медленнее, чем в сценариях случайной записи в CMR.

Для обеспечения корректной работы SMR-накопители в корпоративных средах идентифицируются как отдельный тип устройств, в частности, как host-managed SMR (HM-SMR), то есть зонированные блочные устройства. Это сигнал для программного стека о необходимости соблюдения специализированных правил работы.

Каждая зона имеет свой указатель последовательной записи (sequential write pointer, SWP), который определяет допустимую позицию следующей операции записи. Попытка записи вне этой позиции будет отклонена. Считывание также ограничено пределами уже записанных данных.

Такие ограничения означают, что программное обеспечение должно учитывать новую модель доступа к данным на нескольких уровнях – от файловых систем до прикладных сервисов – для обеспечения приемлемой производительности и предполагаемого поведения системы.

Оценки выгод

Одним из ключевых показателей для современных центров обработки данных является совокупная стоимость владения (TCO) систем хранения данных . Каждый жесткий диск в дата-центре потребляет электроэнергию. Каждый ватт, который диск использует и превращает в тепло, требует дополнительного охлаждения. Кроме того, каждый HDD занимает физическое пространство и отдельный слот в шасси – своеобразный «налог на слот» – а также требует пропускной способности порта адаптера хост-шины (HBA).

При расчете TCO для жестких дисков обычно учитывают такие показатели, как стоимость за терабайт ($/ТВ), потребляемая мощность на терабайт (Вт/ТВ), емкость на кубический метр (ТВ/куб.м.), емкость на слот (ТВ/слот) и т.д. Соответственно увеличение емкости одного диска обычно позволяет снизить совокупную стоимость владения.

Зональным хранением в жестких дисках SMR дата-центров управляют хосты (host-managed SMR). Хотя для полноценного использования преимуществ HM-SMR требуются определенные изменения в программном обеспечении, общие показатели TCO благодаря зональным накопителям все равно улучшаются.

Благодаря технологии UltraSMR, компания Western Digital смогла еще больше увеличить преимущество зональных жестких дисков над CMR-моделями по емкости. Предыдущие поколения SMR-дисков, доступные на рынке, давали прирост примерно 11% или 2 ТБ на один диск по сравнению с CMR. UltraSMR увеличила это преимущество до 18% или 4 ТБ на диск в пределах того же поколения HDD.

Если смотреть в разрезе технологического развития, то ранее SMR фактически обеспечивал преимущество примерно на одно поколение дисков по сравнению с CMR. Технология UltraSMR удваивает эту разницу: теперь упреждение достигает уже двух поколений, прежде чем такая же емкость станет доступна в CMR-решениях.

Для крупных заказчиков это означает, что с точки зрения TCO инвестиции в программное обеспечение, необходимое для внедрения зонального хранения, выглядят теперь гораздо более оправданными.

Western Digital прогнозирует всплеск спроса на диски SMR.

Реакция массового рынка

Надо признать: при отсутствии зрелых программных инструментов для работы с зонированными блочными устройствами, а также из-за нецелевого использования SMR без учета их специфики, диски SMR собрали на себя за последний десяток лет кучу негатива. Пользователи жаловались на низкую производительность массивов дисков, издания изобиловали заголовками типа «CMR против SMR: выводим производителей HDD на чистую воду».

Основные факторы порчи репутации SMR HDD:

• Ограничение производительности записи. Из-за перекрытия дорожек обновление даже небольшого объема данных может потребовать перезаписи значительной части зоны, что приводит к резкому падению скорости после исчерпания кэша.
• Низкая эффективность в конфигурациях RAID. SMR-диски, как правило, плохо подходят для массивов (особенно с файловыми системами вроде ZFS), поскольку медленная запись может вызывать рассинхронизацию во время восстановления (resilvering), иногда продолжающаяся днями или неделями.
• Ограниченное пригодность для интенсивных нагрузок. Такие накопители оптимизированы для сценариев с преимущественно последовательной записью и редким обновлением (cold storage). Использование в качестве системных дисков, в NAS или в активных средах приводит к ускоренному износу и деградации производительности.
• Недостаточная прозрачность маркировки. В ряде случаев производители не обеспечивали четкой идентификации SMR-дисков, что приводило к их использованию в неподходящих сценариях и, как следствие, к отрицательному пользовательскому опыту.

«Дружественные» сценарии использования SMR

В настоящее время основными покупателями SMR HDD являются гиперскейлеры. Dropbox размещает 90% своего хранилища на SMR дисках. Вроде бы это не дело потребителей, вникать в то, как у небожителей устроено резервирование данных или как функционируют объектные хранилища. Благодаря контролю на уровне центра обработки данных, управляемых хостами, негативные последствия не ощутимы.

После неудачных попыток опрометчивого переноса данных с CMR на SMR в собственном хозяйстве у большинства пользователей сложилось мнение «гиперскейлеры уже с этим разобрались, а всем остальным это не нужно». Эта нишевость мнимая. Все больше «обычных» компаний начинают тонуть в данных. Они нуждаются в оправданной экономии на носителях и будут пытаться найти дискам SMR место в серверной инфраструктуре. Есть потребность в интеллектуальном программном обеспечении SMR.

Предназначение SMR-дисков для последовательной записи данных ограничивает спектр совместимых приложений. Поэтому первый шаг для любого разработчика – тщательно разобраться в шаблонах записи своего приложения: насколько оно гибко для работы с линейной записью, или, возможно, его логику нужно (и можно) подстроить.

К SMR-дружественным относятся программы, где данные обычно записываются поочередно и почти не нужно изменять сохраненную информацию по месту. Например, системы для архивирования или хранения холодных данных по сценарию «записал и забыл». Также подходят файловые системы, которые хранят данные по принципу копирования при записи (COW): даже если что-то меняется, новая версия попадает в новый участок диска, не касаясь уже записанного.

Не рекомендуется переносить на SMR-приводы сервисы, заставляющие каждый раз переписывать отдельные сектора в произвольном порядке. Среди таких – классические массивы RAID с жестко заданной схемой размещения данных, базы данных с критичностю мгновенных обновлений и распространенные файловые системы, позволяющие переписывать файлы поверх уже существующих. Если приложению постоянно нужно изменять фрагменты данных в разных местах диска, оно может заметно потерять в быстродействии.

Области целесообразного использования SMR:

• AI/ML — обучающие датасеты и Data Lake

Настоящий «золотой фонд» данных для систем искусственного интеллекта растет такими темпами, что места не хватает нігде. Огромные обучающие наборы изображений, текста, аудио или сенсорных данных записываются тысячами гигабайт один раз, а затем алгоритмы снова и снова считывают их во время тренировки или проверки моделей. Более того, для больших data lake в сфере AI/ML часто нужно «добрасывать» все новые и новые порции сырых (raw) данных — и здесь также не требуются частые обновления существующих блоков, все записывается в свободные области накопителя. Это еще одна причина, почему современные AI/ML-проекты успешно вписываются в парадигму SMR.

• Видеонаблюдение и умное видео

Видеорегистраторы постоянно пишут массивы данных. Данные поступают большими порциями и почти всегда последовательно, старые записи со временем просто удаляются, освобождая большие блоки под новое видео. Ничто не мешает перезаписывать эти блоки так же линейно. Вот почему системы CCTV или видеоархивы совместимы с SMR.

• Архивное и холодное хранение.

Отчетность, документы, резервные копии, юридические архивы — все, что нужно долго хранить и к чему редко обращаются, прекрасно сосуществует с SMR-дисками: «записываем один раз, много раз считываем» (WORM).

• Сети доставки контента (CDN) и кэши.

Серверы на краю сети (edge-) кэшируют популярный контент (видео, музыку). Обновление происходит не часто, поэтому даже если паттерн данных не вполне последователен, SMR-накопители справляются с таким режимом: данные исчезают и добавляются большими порциями.

• Облачные сервисы с версионированием, системи сохранения истории.

Файловые хранилища, резервное копирование, системы электронного документооборота с сохранением истории изменений – в них даже при редактировании файл не обновляется поверх старого, новая версия пишется отдельно в новую область памяти. Именно это позволяет максимально использовать линейную запись SMR-дисков.

А еще:

• Логи и телеметрия в IoT или промышленных проектах
• Хранение данных для Big Data-аналитики, где происходит нарастающая, а не циклическая запись
• Данные длительного хранения медицинских систем (МРТ, томография, геномные данные)

Также есть отдельный класс SMR-ориентированных решений, создаваемых специально под ограничение черепичной геометрии. Здесь программисты сами управляют последовательностью записи и управлением зонами, контролируя каждый этап работы с данными. Это сложнее на этапе разработки, но позволяет стабильно и максимально эффективно использовать потенциал SMR-дисков.

Программная поддержка SMR

Поддержка зонированных накопителей на уровне операционных систем остается ограниченной. Как ни странно, Microsoft Windows до сих пор "не догадывается", что такое настоящий SMR-диск. Эффективное использование всех возможностей HM-SMR сегодня реально позволяет только Linux. Базовая поддержка зонированных устройств была добавлена, начиная с версии ядра 4.10, и в дальнейшем расширялась, включая интеграцию на уровне файловых систем.

При выборе дистрибутива Linux следует убедиться, что в ядре активирована поддержка Zoned Block Devices (ZBD). При ее отсутствии необходима соответствующая конфигурация и перекомпиляция ядра.

Для программ, учитывающих ограничение SMR-дисков (SMR-ориентированных), существует два основных подхода:

1. Прямой доступ
Программа сама управляет записью данных на диск, минуя файловую систему. Для этого используются специальные команды (например ZAC или ZBC) или стандартные функции Linux (read(), write(), ioctl). Приложение должно самостоятельно определять, куда записывать данные, собирать и очищать мусор, а также отслеживать, какие данные и где хранятся. Этот подход сложен, но дает полный контроль над диском.

2. Использование zonefs
Zonefs — простая файловая система, которая отображает каждую зону SMR-диска как отдельный файл. В эти файлы можно записывать только последовательно; чтобы удалить старые данные, файл "обнуляют". Программе все еще нужно придерживаться правил SMR, но интеграция через zonefs гораздо проще.

Если программа ведет себя "SMR-дружественно" - то есть большинство записей последовательны, а изменения не вносятся непосредственно "на месте" - можно использовать файловую систему btrfs (доступна в Linux из ядра 5.12). Она сама управляет размещением данных, поэтому программа будет работать почти без изменений. Однако следует помнить: если диск почти полон или часто удаляются данные, скорость записи может снижаться из-за «очистки» и перемещения блоков, подобно SSD.

Кратко:

• Хотите полный контроль – пишите для прямого доступа или через zonefs.
• Есть последовательная запись — используйте btrfs, система сделает все сама.

Неизбежное будущее

SMR-диски уже давно перестали быть «экзотикой для избранных». Гиперскейлеры годами активно используют их в своей инфраструктуре, оптимизируя или создавая новое программное обеспечение под последовательную запись. Именно они первыми показали, что SMR позволяет не только набить полки данными, но и значительно снизить TCO и энергопотребление при долговременном масштабном хранении.

Времена меняются: современные решения на базе SMR-дисков становятся доступными не только гигантам, но и организациям любого масштаба.

Leil – компания по хранению данных, разрабатывающая программное обеспечение для крупномасштабной локальной инфраструктуры. Ее платформа обеспечивает энергоэффективное, экономически выгодное и масштабируемое хранилище на уровне гипермасштабированных решений: облачное, корпоративное, резервное копирование, видеоархивы. Продукт позволяет организациям управлять растущими объемами данных без дополнительной сложности.

По оценкам Leil , развитие индустрии жестких дисков будет выглядеть так:

• 2026–2027 : SMR становится мейнстримом для крупных компаний и начинает распространяться на всех других. Ожидается, что 40-50% новых дисков NearLine будут SMR.
• 2028–2030 : Диски емкостью 50 ТБ+ становятся нормой. Если вы не записываете последовательно, вы, вероятно, переплачиваете за хранилище.
• 2030–2035 : Жесткие диски с произвольным доступом используются для специальных случаев или в паре с SSD. Для всего остального главным остается последовательный доступ.

Больше не нужно быть ИТ-гигантом, чтобы воспользоваться преимуществами плотного и экономичного хранения. Благодаря зрелой экосистеме открытого ПО и развитию коммерческих решений переход на SMR становится все более простым для тех, кто хочет сделать свою инфраструктуру масштабируемой, устойчивой и конкурентоспособной.

Словами технического директора и соучредителя Leil Дэвида Герштейна: «Ценность хранилища данных теперь определяется тем, насколько эффективно можно хранить данные, а не количеством развернутых накопителей. SMR обеспечивает большую емкость на накопитель, на ватт и квадратный метр, чем любая альтернатива. Экономика – это не вопрос мысли, а вопрос физики».