Сервис-провайдер ОBLAKO переходит на NVMe-серверы под управлением Microsoft S2D
OBLAKO (cloud.net.ua) последовательно выстраивает облачную среду под приложения заказчиков из малого и среднего бизнеса. С момента запуска десять лет назад услуг аренды виртуальных серверов и SaaS-решений (почты Exchange, Zimbra) основной операционной системой служит Windows Server. Вместе с эволюцией технологического стека Microsoft (а OBLAKO - один из первых SPLA-партнеров компании в Украине) менялся подход к обеспечению целей.
Программно-определяемая платформа Microsoft
Windows Server 2012 была первым опытом ОС, средствами которой строится программно-определяемая инфраструктура. OBLAKO по сей день эксплуатирует кластеры серверов с разделяемыми хранилищами SAS JBOD (Clustered Shared Volumes, CSV) в дата-центрах в Украине и Германии. По технологии Storage Spaces операционные данные (виртуальные машины клиентов) хранятся на гибридных виртуальных дисках, физической основой для которых служат накопители в JBOD: SSD под горячие данные и кеш записи, емкие HDD - как основной слой хранения. За счет подбора компонентов (серверов, JBOD, дисков) таким универсальным решением можно и сегодня удовлетворить потребности 90% клиентских нагрузок.
Шло время, бизнес клиентов рос, менялись нагрузки приложений. Вместо одного виртуального сервера на все случаи жизни («швейцарского ножа») стало удобно иметь несколько: под СУБД, приложения (1С, M.E.Doc, CRM итд.), отдельно под веб-сайт и не-Windows нагрузки. Вся инфраструктура должна обслуживать офисы и подразделения в единой сети предприятий с VPN-туннелями. Кластер с гибридной дисковой подсистемой общего доступа – не самое гибкое решение под интенсивные нагрузки ввода-вывода. Более того, «коммунальное сожительство» виртуальных машин клиентов с высоконагруженными СУБД и соседей попроще создает неудобства тем и другим. Предельные пиковые нагрузки вызывают сбои в работе и укорачивают жизнь оборудованию.
Создание комфорта приложениям с повышенными нагрузками ввода-вывода стало новым вызовом. В очередной раз поднялась планка требований к производительности, управляемости и расширяемости сервисной платформы. Следующим шагом стало освоение кластерной технологии Microsoft Storage Spaces Direct (S2D) – разделяемой среды вычислений и хранения на серверах с локальными дисками. Как и прежде, аппаратную часть проектировало серверное ателье Entry.
Storage Spaces Direct
Гиперконвергентная инфраструктура S2D строится на типовых серверах, средствами ОС, без сторонних хранилищ SAN/NAS, проста в развертывании и настройке. Высокая производительность достигается аппаратными средствами (CPU, NVMe SSD, сетевые адаптеры RDMA) и программными протоколами сетевого обмена SMB Direct. Подключение дополнительных серверов в кластер добавляет ресурсы, повышает устойчивость к отказам и управляемость. Эластичноcть масштабирования S2D особенно привлекательна для сервис-провайдеров - как модель предсказуемого развития без изменения ландшафта.
Владимир Малежик (OBLAKO, CTO): «Много лет мы работаем с кластерами по технологии Microsoft Storage Spaces c разделяемыми JBOD на SSD/HDD и у нас есть возможность сравнивать. Как любого сервис-провайдера, нас стимулируют заказчики с повышенными запросами к производительности. Непрерывная доступность к данным и приложениям нужна всем нам. Отсюда выбор Storage Spaces Direct - естественного развития операционной среды. Благодаря Entry мы построили экономичную реализацию кластера S2D на односокетных платформах AMD EPYC, с хранением на NVMe SSD. Думаю, первые в Украине»
Выбор серверов
На каких серверах строить кластеры S2D, зависит от характера нагрузок и объемов хранения. Максимальную производительность ввода/вывода с предсказуемо низкими задержками дает хранение all-NVMe: SSD c быстрым откликом и большим ресурсом перезаписи (Cache) принимают на себя поток операций произвольного доступа, с последующим переносом данных на основной слой хранения (Capacity) - тоже NVMe SSD, но емкие, с меньшим ресурсом.
Андрей Тищенко (Entry, управляющий): «Однопроцессорная платформа AMD EPYC 7xx2P словно рождена под гиперконвергентные системы: большое количество вычислительных ядер CPU и потенциал RAM позволяют комфортно раздать ресурс виртуальным машинам, в 1U помещается до 12 накопителей U.2 (SFF NVMe SSD), с хорошим запасом по емкости хранения. Узлы получаются относительно недорогими, начальные затраты на инфраструктуру посильными, расширение простым».
Базой кластера Entry S2D для «Облака» стали платформа ASUS RS500A-E10-RS12U и 24-ядерные AMD EPYC 7402P. Слой кэширования (Cache) собран на Intel Optane SSD, данные (Capacity) хранят накопители Western Digital Ultrastar DC SN640 NAND SSD. Сетевые адаптеры 25GbE Mellanox ConnectEx–4 c аппаратной поддержкой RDMA быстро синхронизируют данные узлов кластера.
Сравнительные тесты
Принятию решения о переводе ресурсоемких приложений на новый кластер помогли сравнительные тесты трех архитектур. Спойлер: результаты превзошли ожидания, производительность дисковых операций выросла почти впятеро.
Тесты имитировали OLTP-нагрузку (70% чтения/30% записи, произвольный доступ блоками 8К) с использованием утилиты DiskSpd по cтандартному сценарию. Соревновались три типа дисковых хранилищ: две старые реализации и новая, с перенесенной на нее клиентской нагрузкой. Тестирование проводилось внутри виртуальных машин «живых» систем, не на чистых полигонах.
Параметры виртуальной машины: 2-ядра, 2ГБ ОЗУ, 60ГБ дискового пространства.
Storage Space, SAS SSD |
Локальный RAID5, SATA SSD |
Storage Spaces Direct, NVMe SSD |
|
IOPS read |
16571 |
16911 |
78455 |
IOPS write |
7093 |
7255 |
33578 |
IOPS total |
23664 |
24166 |
112033 |
Latency read |
3,978 |
4,498 |
0,827 |
Latency write |
4,230 |
2,742 |
0,925 |
Latency Avg |
4,054 |
3,971 |
0,856 |
MB/s read |
129,46 |
132,12 |
612,93 |
MB/s write |
55,42 |
56,68 |
262,33 |
MB/s total |
184,88 |
188,8 |
875,27 |
S2D, NVMe и транзакционные приложения
У кластера S2D есть запас роста, scale-up и scale-out. В сами серверы можно добавить оперативную память и накопители – благо есть место. По цене NVMe SSD не дороже SATA SSD, по емкости их превосходят, а производительность нечего и сравнивать. OLTP-приложения особенно ярко проявляют преимущества NVMe.
Горизонтальное масштабирование кластера новыми узлами наращивает все вычислительные ресурсы, дает простор их балансировки и эффективное использование пространства хранения. OBLAKO готово к новым вызовам.