Система хранения all-flash QNAP TS-h2490FU. Первый взгляд

QNAP TS-h2490FU – основанная на ZFS система хранения под приложения, критичные к  производительности и низким задержкам. Она рассчитана на установку 24 х U.2 NVMe SSD.  Решение получается гибким и относительно доступным: цены U.2 не разорительны, а их емкость от 1 до 15TBпозволяет набрать приличное пространство для размещения данных. 

Хранилище построено на процессоре AMD EPYC (много ядер и оперативной памяти важны для ZFS), предоставляет до 128 линий ввода-вывода PCIe и выделенную полосу пропускания 32 Гбит/с (x4 PCIe) каждому накопителю NVMe. C таким запасом вычислительной мощности и сетевыми интерфейсами 4 х 25GbE QNAP TS-h2490FU готов парировать высокие нагрузки в виртуализированной среде. 

U.2

Привычные системы хранения на SAS SSD/HDD постепенно сдают позиции в приложениях, где важны быстрый отклик и отдача накопителей. Диски NVMe подключаются непосредственно к CPU через PCIe – что резко сокращает задержки обращения. Оптимизированный NVMe SSD достигает скорости до 7,4 ГБ/с - примерно в 23 раза быстрее, чем диск SATA, и в шесть раз быстрее, чем SSD-накопитель SAS 12 Гб. 

U.2 (2.5” NVMe SSD) – сложившийся на сегодня стандарт NVMe SSD для серверов и систем хранения. В этом формате представлены накопители разной архитектуры (NAND, 3D XPoint) и ресурса (преимущественно под чтение, под смешанную нагрузку, под интенсивную запись произвольного доступа).

Возможности ZFS-хранилищ детально описаны. Можно сказать, накопители на флеш-памяти являются необходимым, но не достаточным условием их продуктивности - велик вклад настроек: пулов основных виртуальных устройств с данными, вспомогательных областей - таких как L2ARC (кэш чтения второго уровня), SLOG (журнал синхронной записи), Special Allocation (метаданные). Производители систем снимают с пользователя часть забот по основным настройкам, но ZFS была и остается широким полем для подгонки хранения под нужды приложений.  Не зря в сети любят цитировать разработчика OpenZFSМэтта Аренса: «это действительно сложно».

ZFS

Как файловая система и менеджер томов хранения данных в одном лице, ZFS полностью контролирует физические носители, логические тома и следит за целостностью данных. Ее механизм копирования при записи (copy-on-write) служит ключом к самовосстановлению данных (надежности приложений и баз данных) и удобным службам – таким как мгновенные снимки и репликация. С хранилища на флеш-памяти спрос особый - тем интереснее опции, непосредственно влияющие на его производительность. Например, встроенная дедупликация данных. В сочетании с технологией сжатия ZFS дедупликация сокращает объем хранения и количество операций ввода-вывода. 

Дедупликация -  удаление повторяющихся последовательностей данных, сокращение их объема путем сжатия. Стандартной метрики «коэффициент дедупликации», позволяющей сравнивать хранилища между собой, не существует - все данные разные. Отличаются их тип, волатильность, длительность хранения. Даже в одной и той же системе хранения резервные копии сжимаются лучше продуктивного массива. 

Независимо от того, работает ли QNAP TS-h2490FU в качестве основного или резервного хранилища, важно оптимизировать его использование – тем более, во времена больших данных. Дедупликация и сжатие могут поднять рентабельность, при одновременном улучшении производительности записи произвольного доступа, и снизить износ твердотельных накопителей. 

Тем не менее, дедупликацию не стоит считать универсальным средством повышения эффективности хранилищ. Производительность – всегда компромисс между требованиями рабочих нагрузок и ценой их удовлетворения. Для коэффициента сжатия верно правило убывающей доходности: чем он выше – тем меньше прирост практических преимуществ. Точный выигрыш на любой модели движения данных предсказать невозможно. Надо тестировать системы хранения на реальных данных и сравнивать совокупную стоимость владения ими, а не механизмы дедупликации. 

Альтернативой дедупликации может быть использование накопителей большей емкости (куда все поместится без сжатия) или других политик избыточности хранения. 

RDMA

Прямой доступ к памяти RDMA позволяет обходить уровни драйверов и сокетов, снизить задержки сетевого обмена данными между серверами и хранилищем.

Стандартный протокол TCP/IP помещает копии данных во временные буферы:

RDMA передает данные сразу в сетевой адаптер, минуя промежуточные копии:

iSER - расширение модели передачи данных iSCSI на традиционном TCP/IP c использованием прямого доступа к памяти RDMA. Протокол подходит для поддержки баз данных, виртуальных сред, облачных сервисов и веб-приложений. Благодаря iSER можно в несколько раз увеличить плотность среды VDI(количество виртуальных машин на сервере) и поднять скорость служб по сравнению с iSCSI на TCP/IP. 

Обычные сетевые адаптеры постепенно вытесняются из обихода поддерживающими RDMA – такими как Mellanox 10 / 25 / 40 / 50 / 100GbE. Настройки производительности iSER под Linux в серверах и системах хранения, и на хостах VMware ESXi подробно документированы.

Начиная с Windows Server 2012 серверные ОС Microsoft поддерживают и автоматически активируют протокол SMB Direct для сетевых адаптеров с RDMA. В рабочих нагрузках Hyper-V или Microsoft SQL Server это позволяет обмениваться данными с файловым сервером на полной пропускной способности высокоскоростных сетей. Низкие задержки в сетевом стеке обеспечивают чрезвычайно быстрый отклик, создавая впечатление, что удаленное файловое хранилище является напрямую подключенным блочным хранилищем.

От теории к практике

Во второй части мы выборочно оценим влияние перечисленных факторов на производительность QNAPTS-h2490FU.