Чинники домінування NVMe SSD у серверах

Накопичувачі для серверів вибирають з міркувань продуктивності, сумісності та надійності. За кожним вибором стоять об'єктивні дані та упередження: власний досвід, усталені практики, стереотипи, забобони.

На практиці важливими є не лише технічні характеристики, а й рекомендації виробників серверів, вимоги корпоративних стандартів і загальна вартість володіння. У корпоративних системах, критичних до продуктивності і затримок – віртуалізації, базах даних, системах штучного інтелекту й аналітики в реальному часі – сьогодні домінують SSD. Але які саме?

Порівняємо три типи SSD: SATA, SAS, NVMe на прикладі сімейств Samsung, ємності 1.92ТБ:

Якщо прийняти показники SATA SSD за одиницю, порівняння виглядатиме так:

Складові переваг NVMe SSD

• Потенціал швидкодії. Кожне нове покоління PCIe майже повоює максимальну пропускну здатність інтерфейсу, залишаючи SAS, а тим більше SATA, далеко позаду. Сучасні серверні навантаження критичні  до вузьких місць на шляху даних.
• Паралелізм. Протокол NVMe розроблено спеціально для флеш-пам'яті. Він підтримує десятки тисяч черг команд, тоді як SAS і SATA (AHCI) походять з епохи жорстких дисків і мають значно скромніші можливості паралельної обробки запитів.
• Масштабованість. Сучасні серверні процесори AMD EPYC та Intel Xeon мають 80–160 і більше ліній PCIe, що дає змогу підключати десятки NVMe SSD без проміжних контролерів. SAS і SATA потребують посередників, які збільшують вартість системи, її складність і затримки.
• Економіка. Ринок остаточно схилився на бік NVMe. Корпоративні NVMe SSD вже можна купити за ціною SATA SSD (і значно дешевше, ніж SAS SSD), попри їх складнішу архітектуру. Це наслідок масштабного виробництва. Водночас попит на SAS і SATA скорочується, що призводить до зростання цін. Крім того, завдяки вищій продуктивності одного накопичувача NVMe знижує сукупну вартість володіння (TCO) інфраструктурою

Метрики продуктивності 

Latency, IOPs, throughput - три взаємопов'язані характеристики продуктивності, які описують різні аспекти роботи SSD.

Latency — це час, необхідний для виконання однієї операції читання або запису. Менша затримка означає швидшу реакцію системи. Типова затримка SATA SSD становить 80–150 мкс, тоді як NVMe SSD - 20–50 мкс.

IOPS показує, скільки окремих операцій читання або запису накопичувач здатний виконати за секунду. Високі показники IOPS особливо важливі для баз даних, віртуалізації та транзакційних систем. Практична межа для SATA SSD становить близько 100 тис. IOPS, PCIe 4.0 NVMe досягають 1 млн IOPS, а PCIe 5.0 NVMe - 2 млн IOPS.

Співвідношення між IOPS та latency є наслідком закону Літтла – фундаментального правила теорії черг. Воно визначає взаємозв'язок між кількістю одночасно оброблюваних запитів, швидкістю їх виконання та часом очікування:

IOPS = Queue Depth / Latency.

Throughput (пропускна здатність) — це обсяг даних, який накопичувач передає за одиницю часу (МБ/с або ГБ/с). За визначенням,

Throughput = IOPS × Розмір блоку.

Один і той самий SSD може мати однаковий показник IOPS, але різну пропускну здатність залежно від характеру запитів.

Перевага NVMe над SAS  і SATA полягає не лише у вищій пропускній здатності PCIe. Підтримка величезної кількості незалежних черг команд (до 65 535 черг по 65 535 команд у кожній) дозволяє ефективно завантажувати багатоядерні процесори та максимально використовувати паралелізм сучасних серверів.

Уявімо супермаркет:

• Latency — час, який касир витрачає на обслуговування одного покупця,
• IOPS — кількість покупців, яких каси обслуговують за одиницю часу,
• Throughput — загальна сума покупок за цей час, тобто виторг супермаркету.

Якщо відкрити більше кас (збільшити паралелізм), кількість обслужених покупців і загальний виторг (IOPS і throughput) зростуть, навіть якщо затримка на касі (latency) не зміниться. Саме тому супермаркети приростають самокасами: довги черги зменшують виторг.

Отже, NVMe SSD перевершують SAS і SATA SSD завдяки поєднанню трьох чинників: нижчої затримки, значно вищого рівня паралелізму та більшої пропускної здатності інтерфейсу. Як тільки завдяки масштабуванню виробництва ціни на NVMe SSD наблизилися до рівня SATA SSD, серверний ринок закономірно переорієнтувався на NVMe.

Водночас SAS зберігає свої позиції в системах зберігання даних високої доступності (HA), де важливі двопортовість накопичувачів і сумісність із наявною SAS-інфраструктурою. Найслабші позиції сьогодні у SATA.

Анатомія SSD

Усі серверні твердотільні накопичувачі мають схожу базову архітектуру: NAND-флеш-пам'ять, контролер, кеш-пам'ять, мікропрограмне забезпечення та інтерфейс підключення до хоста, танталові або полімерні конденсатори для забезпечення Power Loss Protection (PLP).

Найбільші відмінності між різними типами SSD зосереджені у контролері та інтерфейсі обміну даними. Саме вони значною мірою визначають максимальну продуктивність накопичувача, рівень паралелізму та затримки.

Водночас важливу роль відіграють тип NAND-пам'яті, кількість каналів контролера, обсяг кешу, алгоритми керування зношуванням (wear leveling), корекції помилок (ECC), резервуванням області пам'яті (overprovisioning) та оптимізація прошивки. Головна відмінність NVMe — це не "швидша NAND", а інша модель взаємодії контролера з процесором. SATA/SAS успадкували багато обмежень епохи HDD, тоді як NVMe з самого початку створювався під багатоядерні CPU та паралельний доступ до флеш-пам'яті.

Окремий світ контролерів SSD

Є дві основні групи виробників:

• Вертикально інтегровані виробники - Samsung, Kioxia, Micron, Western Digital, SK hynix -  які самостійно розробляють NAND-пам’ять, контролери та програмне забезпечення для своїх SSD.
• Незалежні розробники контролерів - Phison, Silicon Motion, Marvell, Maxio, Innogrit - чиї рішення використовують десятки виробників SSD для створення власних продуктів.

Саме ці компанії визначають технологічний розвиток сучасних SATA, SAS і NVMe SSD. Водночас більшість брендів на ринку займаються інтеграцією компонентів та позиціонуванням кінцевих продуктів.

Перехід від SAS до NVMe став не лише зміною інтерфейсу. Він змінив саму архітектуру контролерів SSD: від оптимізації під послідовний доступ через RAID-контролери до прямого масштабування паралельного доступу через PCIe та багатоядерні процесори.

Орієнтовні діапазони цін контролерів:                

Контролери SAS SSD мають значно складнішу архітектуру порівняно із SATA SSD: вони повинні реалізовувати командний набір SCSI, підтримувати двопортовість, розширені механізми діагностики, роботу через SAS-експандери та функції, необхідні для корпоративних систем зберігання. Значно менші обсяги виробництва порівняно із SATA та NVMe-контролерами додатково підвищують собівартість таких рішень.

Розробка NVMe-контролера також істотно складніша і дорожча, ніж SATA-контролера. Водночас значна частина логіки керування флеш-пам'яттю може бути спільною: різні типи SSD можуть використовувати однакові типи NAND, схожі алгоритми FTL (Flash Translation Layer), вирівнювання зносу, збору сміття (garbage collection) та корекції помилок (ECC). Основна відмінність полягає у верхньому рівні взаємодії з хостом: SATA SSD реалізує SATA/AHCI, тоді як NVMe SSD — PCIe/NVMe.

Одним із найбільш складних елементів NVMe-контролера є високошвидкісний фізичний рівень PCIe (PHY). Він включає SerDes, схеми компенсації втрат сигналу, тактування, аналогові компоненти та механізми забезпечення цілісності сигналу. Розробка такого рівня для сучасних поколінь PCIe потребує значних інвестицій: проєктування цифрової логіки, верифікації, створення прошивок, тестування та сертифікації. Для складних багатофункціональних контролерів загальні витрати на розробку можуть сягати сотень мільйонів доларів. Високі витрати на R&D і складність проєктування є причиною того, що на ринку не так багато компаній, здатних розробляти сучасні серверні NVMe-контролери.

Приблизна структура собівартості корпоративного SSD ємністю 7,68 ТБ:

Внесок навіть найдорожчого серверного NVMe-контролера становить лише кілька відсотків від кінцевої ціни накопичувача. Основну частину вартості формує NAND-пам'ять.

Втім, ринкова ціна будь-яких продуктів визначається не лише кошторисом матеріалів, а NVMe-контролер не обов'язково дорожчий за SAS-контролер у серійному виготовленні. Масштабування виробництва творить дива.

«Невидима рука ринку»

Цією метафорою шотландського економіста Адама Сміта описують ситуації, коли попит і пропозиція, конкуренція або економічні стимули самі формують ціни, асортимент товарів чи напрямки розвитку технологій без централізованого планування.

Масова пропозиція у конкурентному середовищі знижує ціни. Іноді навіть нижче рівня собівартості товарів. Тимчасові коливання попиту на зразок гарячки навколо штучного інтелекту не зупиняють перевод серверів на NVMe SSD. Не AI-бум створив цю тенденцію, але він суттєво прискорив її, одночасно загостривши конкуренцію за виробничі потужності пам'яті.

Домінування NVMe стало результатом ринкового вибору багатьох незалежних учасників, а не рішення одного виробника чи регулятора. NVMe SSD витісняють SAS та SATA SSD у нових серверних платформах тому, що виробники та споживачі віддають перевагу рішенням із кращим співвідношенням продуктивності, енергоефективності та вартості.