Система зберiгання all-flash QNAP TS-h2490FU. Другий погляд

Коли нам в руки потрапила система зберігання на NVMe під управлінням ZFS - QNAP TS-h2490FU, з першого погляду на неї стало зрозуміле її цільове призначення - як високошвидкісного ресурсу для розміщення гарячих даних програм.

Завдяки ZFS подібні сховища вражаюче функціональні. Уяву про рівень продуктивності цієї системи зберігання дає тестування Storage Review. Нас теж цікавить продуктивність. Але не настільки абсолютні показники, як скоріше засоби управління нею, доступні користувачеві.

Тестовий полігон  

QNAP TS-h2490FU

Ми не стали гнатися за рекордами і заповнювати накопичувачами  усі 24 дискові відсіки. Для проведення порівняльних експериментів узяли 6 х Western Digital Ultrastar DC SN640 NVMe SSD місткістю 1.92TB.

WD Ultrastar DC SN640 - одно з найпопулярніших сімейств серверних SSD формату U.2 (2.5" NVME), місткістю від 800GB до 7680GB. По суті, воно складається з двох підродин 800-1600-3200-6400GB і 960-1920-3840-7680GB. Вони відрізняються ресурсом перезапису комірок пам’яті (2 DWPD проти 0.8 DWPD) і продуктивністю запису з випадковою вибіркою (у першого майже удвічі вище).

Фізично це одні й ті ж накопичувачі. Підвищену стійкість до стирання комірок пам’яті і приріст продуктивності першому дає збільшена область резервних комірок (overprovisioning). Чим вона більша - тим менше перенесень даних потрібно контролеру SSD для очищення сторінок під запис (write amplification) і тим рідше перезаписується вміст комірок (подовжується їх життя). Якщо хочеться, все те ж саме можна зробити самому: відформатувати SSD із заявленою місткістю 1.92TB на 1.6TB і підняти його показники, ціною втрати близько 20% об’єму.

Перевагу NVMe над іншими твердотілими накопичувачами дають два показники: продуктивність запису з випадковою вибіркою (Write Random 4K IOPS) і потокова швидкість читання-запису (Throughput, МБ/с).

Перше важливе в роботі з базами даних і додатками віртуалізованого середовища, друге - для медійних застосувань і резервування даних.

Довільний доступ. Тест "база даних"

Розпочнемо з випадкових операцій. Подивимося, чи можна обернути на свою користь можливості менеджера логічних томів ZFS.

Пули у ZFS (zPool) будуються з віртуальних пристроїв vdev, які своєю чергою збираються з фізичних накопичувачів з заданими  політиками надмірності: від простих дзеркал RAID 1 (Mirror) до масивів з потрійною парністю RAID 7 (RAIDz3)

В гонитві за продуктивністю з випадковою вибіркою в традиційній топології немає рівних RAID 10. Масиви ZFS з парністю RAIDz1/RAIDz2/RAIDz3 (одинарною/подвійною/потрійною) економніше витрачають дисковий простір. Цікаво порівняти RAID 10 і RAID 6 (RAIDz2): скільки ми втрачаємо в продуктивності, виграючи в дисковому просторі, при розумній стійкості того та іншого до відмов накопичувачів.

•  Ініціатор
• Windows Server 2019;
• Чотири мережеві порти ініціатора і сховища сполучені напряму;
•  Таргет
•  QNAP TS-h2490FU / 6х Western Digital Ultrastar DC SN640 NVMe;
•  RAID 10 (три vdev по два диски), LUN 350GB, профіль 4K VDI / база даних, файли малого розміру;
• RAID 6 (один vdev з 6 диcків), LUN 350GB, профіль 4K VDI / база даних, файли малого розміру;
•  Тестове ПЗ
• Iometer;
• Розмір файлу 140GB;
• Тест "база даних": довільні операції зі співвідношенням читання/запис - 70%/30%, розмір блоку 4К;
• Глибина черги запитів на введення/виведення до 128

Для недосвідчених користувачів в QNAP є швидке налаштування LUN-ів під певний тип навантаження:

За результатами тестів продуктивність RAID 10 і RAID 6 виявилися майже ідентичними:

Це виміри для одного ініціатора. Пам'ятаючи, що сильна сторона NVMe - обробка паралельних потоків, повторюємо тест для 24 ініціаторів:

Продуктивність очікувано масштабується з багатопоточністю. Але RAID 10 як і раніше не перевершує RAID 6. Абсолютні показники в IOPS не занадто вражають. А що з латентністю?

Радують низькі затримки звернення. Ось вона, перевага NVMe.

Для RAID 6 та ж картина, що і для RAID 10: до глибини черги 64 рівень затримок не виходить за межі комфортних 1 мс. При QD=16 (співвідношення потоків 1/4) латентність однопотокового зберігання на 22% вища, при QD=64 (співвідношення потоків 1/11) латентність зросла - на 135%.

iSER

"Блендер віртуалізації" перемелює запити введення-виведення в крихти звернень довільного доступу. Якщо вже включати QNAP TS-h2490FU у віртуалізоване серверне оточення, потрібно використати усі можливості боротьби за продуктивність.

З виходом vSphere 6.7 VMware додала iSER (розширення iSCSI для RDMA, Remote Direct Memory Access) в якості підтримуваного протоколу зберігання в ESXi. iSER дозволяє підняти продуктивність роботи в vSphere, використовуючи мережеві адаптери з підтримкою RDMA. Пряме перенесення вмісту пам'яті з одного комп'ютера на інший без участі CPU підвищує пропускну спроможність введення-виведення і знижує затримки. Підтримка RDMA потрібна як на джерелі, так і на таргеті.

Mellanox (зараз у складі NVIDIA) давно просуває технологію RDMA, забезпечуючи мережеві адаптери її апаратною підтримкою. У QNAP TS-h2490FU встановлені 25Гб Mellanox ConnectX-4 Lx.

Оцінимо вклад iSER в такій постановці:

 - Ініціатор

• Windows Server 2019 / VMware 7.0.0 у віртуальній машині
• Активований протокол доступу iSER

- Таргет

• QNAP TS-h2490FU / 6 х Western Digital Ultrastar DC SN640 NVMe
• RAID 6, два LUN, профіль 4K - довільні операції, і профіль 128К - послідовні операції

- Тестове ПЗ

•  FIO
•  Розмір файлу 140GB
•  Два типи навантаження: numjobs=1 /iodepth=8 і numjobs=8 /iodepth=8

iSER дає приріст продуктивності від 30% до 140%, залежно від типу навантаження. Всього лише потрібно оснастити сервери мережевими картами з RDMA та активувати протокол.

Послідовний доступ і відеодані

Зберігання відеоконтенту - актуальне завдання для медійних компаній. Вимоги до швидкості доступу ростуть, вартість носіїв падає. Чом би не використати NVMe-сховище для оперативної роботи з матеріалом? На тому ж стенді зібрали той же RAID 6, зконфігурували на цьому пулі 8 LUN 'ів і запустили на ініціаторові 8 тестів AJA (кожен працював зі своїм LUN 'ом). Вісім незалежних застосувань, кожне з яких працює зі своїм логічним пристроєм, відтворюють колективну роботу з відеоданими. Сумарна продуктивність, залежно від кількості одночасно працюючих ініціаторів :

Швидкість запису сховища масиву RAID 6 не особливо перевищує швидкість одного SSD (штраф на запис для такого типу RAID складає 4). Продуктивність читання росте з кількістю ініціаторів.

Потреби відеомонтажу різняться. Орієнтуємося на передовиків - Apple ProRes 4444 XQ, найбільш високоякісну версію кодеку для джерел зображення 4:4:4:4 (підтримує до 12 біт на канал зображення і до 16 біт для альфа-каналу). Для нього цільова швидкість передачі даних, складає близько 470 Мбіт/с для джерел 4:4:4 при 1920x1080 і 25 кадр/с та близько 2000 Мбіт/с при дозволі 4К-2160 відповідно.

Наше сховище забезпечує швидкість запису від 2,5 до 3 ГБ/с - і це всього при 6 NVMe SSD.

Короткі висновки

Хоча продуктивність QNAP TS-h2490FU в IOPS не вражає уяву, приємно здивували низькі рівні затримок. На шести NVMe SSD не вдалося побачити явної переваги RAID 10 над RAID з подвійною парністю. Чи то потенціал NVMе настільки високий, чи то заважають обмеження протоколу iSCSI. Вибираємо RAID 6 - за пристойну продуктивність, високу стійкість до відмов накопичувачів, економічність.

Помітне зростання продуктивності після активації iSER показує перспективи використання TS-h2490FU у віртуалізованому середовищі..

Продуктивність на послідовних операціях і протоколі iSCSI відмінна. Медійним компаніям сховище сподобається.

При вартості сховища без дисків від 239 тис. грн його можна собі дозволити.