Факторы доминирования NVMe SSD в серверах

Накопители для серверов выбирают из соображений производительности, совместимости и надежности. За каждым выбором стоят объективные данные и предубеждения: собственный опыт, практики, стереотипы, предрассудки.

На практике важны не только технические характеристики, но и рекомендации производителей серверов, требования корпоративных стандартов и общая стоимость владения. В корпоративных системах, критичных к производительности и задержкам – виртуализации, базах данных, системах искусственного интеллекта и аналитики в реальном времени – сегодня доминируют SSD. Но какие именно?

Сравним три типа SSD: SATA, SAS, NVMe на примере семейств Samsung, емкости 1.92ТБ:

Если принять SATA SSD за единицу, сравнение будет выглядеть так:

Составляющие преимущества NVMe SSD

• Потенциал быстродействия. Каждое новое поколение PCIe почти сразит максимальную пропускную способность интерфейса, оставляя SAS, а тем более SATA, далеко позади. Современные серверные нагрузки критичны к узким местам на пути данных.
• Параллелизм. Протокол NVMe разработан специально для флэш-памяти. Он поддерживает десятки тысяч очередей команд, в то время как SAS и SATA (AHCI) происходят из эпохи жестких дисков и имеют более скромные возможности параллельной обработки запросов.
• Масштабируемость. Современные серверные процессоры AMD EPYC и Intel Xeon имеют 80–160 и более линий PCIe, что позволяет подключать десятки NVMe SSD без промежуточных контроллеров. SAS и SATA нуждаются в посредниках, которые увеличивают стоимость системы, ее сложность и задержки.
• Экономика. Рынок окончательно склонился к NVMe. Корпоративные NVMe SSD уже можно купить по цене SATA SSD (и значительно дешевле, чем SAS SSD), несмотря на более сложную архитектуру. Это следствие масштабного производства. В то же время, спрос на SAS и SATA сокращается, что приводит к росту цен. Кроме того, благодаря более высокой производительности одного накопителя NVMe снижает совокупную стоимость владения (TCO) инфраструктурой.

Метрики производительности

Latency, IOPs, throughput – три взаимосвязанных характеристики производительности, описывающих различные аспекты работы SSD.

Latency — это время, необходимое для выполнения одной операции чтения или записи. Меньшая задержка означает более быструю реакцию системы. Типичная задержка SATA SSD составляет 80–150 мкс, тогда как NVMe SSD – 20–50 мкс.

IOPS показывает, сколько отдельных операций чтения или записи накопитель способен выполнить в секунду. Высокие показатели IOPS особенно важны для баз данных, виртуализации и транзакционных систем. Практический предел для SATA SSD - около 100 тыс. IOPS, PCIe 4.0 NVMe достигают 1 млн IOPS, а PCIe 5.0 NVMe – 2 млн IOPS.

Соотношение между IOPS и latency является следствием закона Литтла – фундаментального правила теории очередей. Оно определяет взаимосвязь между количеством одновременно обрабатываемых запросов, скоростью их выполнения и временем ожидания:

IOPS = Queue Depth /Latency.

Throughput (пропускная способность) — это объем данных, передаваемый накопителем за единицу времени (МБ/с или ГБ/с). По определению,

Throughput = IOPS × Размер блока.

Один и тот же SSD может иметь одинаковый показатель IOPS, но разную пропускную способность в зависимости от характера запросов.

Преимущество NVMe над SAS и SATA заключается не только в более высокой пропускной способности PCIe. Поддержка огромного количества независимых очередей команд (до 65535 очередей по 65535 команд в каждой) позволяет эффективно загружать многоядерные процессоры и максимально использовать параллелизм современных серверов.

Представим супермаркет:

• Latency — время, которое кассир тратит на обслуживание одного покупателя,
• IOPS – количество покупателей, которых кассы обслуживают за единицу времени,
• Throughput — общая сумма покупок за это время, то есть выручка супермаркета.

Если открыть больше касс (увеличить параллелизм), количество обслуженных покупателей и общая выручка (IOPS и throughput) возрастут, даже если задержка на кассе (latency) не изменится. Именно поэтому супермаркеты прирастают самокассами: длинные очереди уменьшают выручку.

Таким образом, NVMe SSD превосходят SAS и SATA SSD благодаря сочетанию трех факторов: низкой задержки, значительно более высокого уровня параллелизма и большей пропускной способности интерфейса. Как только благодаря масштабированию производства цены на NVMe SSD приблизились к уровню SATA SSD, серверный рынок закономерно переориентировался на NVMe.

В то же время SAS сохраняет свои позиции в системах хранения данных высокой доступности (HA), где важны двухпортовость накопителей и совместимость с имеющейся SAS-инфраструктурой. Самые слабые позиции сегодня у SATA.

Анатомия SSD

Все серверные твердотельные накопители имеют схожую базовую архитектуру: NAND-флеш-память, контроллер, кэш-память, микропрограммное обеспечение и интерфейс подключения к хосту, танталовые или полимерные конденсаторы для обеспечения Power Loss Protection (PLP).

Наибольшие отличия между разными типами SSD сосредоточены в контроллере и интерфейсе обмена данными. Именно они в значительной степени определяют максимальную производительность накопителя, уровень параллелизма и задержку.

В то же время, важную роль играют тип NAND-памяти, количество каналов контроллера, объем кэша, алгоритмы управления износом (wear leveling), коррекции ошибок (ECC), резервированием области памяти (overprovisioning) и оптимизация прошивки. Главное отличие NVMe – это не "быстрая NAND", а другая модель взаимодействия контроллера с процессором. SATA/SAS унаследовали многие ограничения эпохи HDD, тогда как NVMe изначально создавался под многоядерные CPU и параллельный доступ к флэш-памяти.

Отдельный мир контроллеров SSD

Есть две основные группы производителей:

• Вертикально интегрированные производители – Samsung, Kioxia, Micron, Western Digital, SK hynix – которые самостоятельно разрабатывают NAND-память, контроллеры и программное обеспечение для своих SSD.
• Независимые разработчики контроллеров – Phison, Silicon Motion, Marvell, Maxio, Innogrit – чьи решения используют десятки производителей SSD для создания собственных продуктов.

Именно эти компании определяют технологическое развитие современных SATA, SAS и NVMe SSD. В то же время, большинство брендов на рынке занимаются интеграцией компонентов и позиционированием конечных продуктов.

Переход от SAS к NVMe стал не только изменением интерфейса. Он изменил саму архитектуру SSD: от оптимизации под последовательный доступ через RAID-контроллеры до прямого масштабирования параллельного доступа через PCIe и многоядерные процессоры.

Ориентировочные диапазоны цен контроллеров:

Контроллеры SAS SSD имеют более сложную архитектуру по сравнению с SATA SSD: они должны реализовывать командный набор SCSI, поддерживать двупортовость, расширенные механизмы диагностики, работу через SAS-экспандеры и функции, необходимые для корпоративных систем хранения. Значительно меньшие объемы производства, по сравнению с SATA и NVMe-контроллерами, дополнительно повышают себестоимость таких решений.

Разработка NVMe-контроллера также существенно более сложная и более дорогая, чем SATA-контроллера. В то же время, значительная часть логики управления флэш-памятью может быть общей: различные типы SSD могут использовать одинаковые типы NAND, схожие алгоритмы FTL (Flash Translation Layer), выравнивание износа, сбора мусора (garbage collection) и коррекции ошибок (ECC). Основное отличие состоит в верхнем уровне взаимодействия с хостом: SATA SSD реализует SATA/AHCI, тогда как NVMe SSD – PCIe/NVMe.

Одним из наиболее сложных элементов NVMe-контроллера является высокоскоростной физический уровень PCIe (PHY). Он включает в себя SerDes, схемы компенсации потерь сигнала, тактирование, аналоговые компоненты и механизмы обеспечения целостности сигнала. Разработка такого уровня для современных поколений PCIe требует значительных инвестиций: проектирования цифровой логики, верификации, создания прошивок, тестирования и сертификации. Для сложных многофункциональных контролеров общие затраты на разработку могут достигать сотен миллионов долларов. Высокие затраты на R&D и сложность проектирования - причина того, что на рынке не так много компаний, способных разрабатывать современные серверные NVMe-контроллеры.

Приблизительная структура себестоимости корпоративного SSD емкостью 7,68 ТБ:

Вклад даже самого дорогого серверного NVMe-контроллера составляет всего несколько процентов от конечной цены накопителя. Основную часть стоимости формирует NAND-память.

Впрочем, рыночная цена любых продуктов определяется не только стоимостью материалов, а NVMe-контроллер не обязательно дороже SAS-контроллера в серийном изготовлении. Масштабирование производства творит чудеса.

«Невидимая рука рынка»

Этой метафорой шотландского экономиста Адама Смита описывают ситуации, когда спрос и предложение, конкуренция или экономические стимулы сами формируют цены, ассортимент товаров или направления развития технологий без централизованного планирования.

Массовое предложение в конкурентной среде снижает цены. Иногда даже ниже уровня себестоимости товаров. Временные колебания спроса вроде лихорадки вокруг искусственного интеллекта не останавливают перевод серверов на NVMe SSD. Не AI-бум создал эту тенденцию, но он значительно ускорил ее, одновременно обострив конкуренцию за производственные мощности памяти.

Доминирование NVMe явилось результатом рыночного выбора многих независимых участников, а не решения одного производителя или регулятора. NVMe SSD вытесняют SAS и SATA SSD в новых серверных платформах потому, что производители и потребители предпочитают решения с лучшим соотношением производительности, энергоэффективности и стоимости.