Сервіс-провайдер ОBLAKO переходить на NVMe-сервери під керуванням Microsoft S2D

OBLAKO (cloud.net.ua) послідовно вибудовує хмарну середу під додатки замовників з малого і середнього бізнесу. З моменту запуску десять років тому послуг оренди віртуальних серверів і SaaS-рішень (пошти Exchange, Zimbra) основною операційною системою служить Windows Server. Разом з еволюцією технологічного стека Microsoft (а OBLAKO - один з перших SPLA-партнерів компанії в Україні) змінювався підхід до забезпечення цілей.

Програмно-визначена платформа Microsoft

Windows Server 2012 була першим досвідом ОС, засобами якої будується програмно-визначена ​​інфраструктура. OBLAKO донині експлуатує кластери серверів зi спiльними сховищами SAS JBOD (Clustered Shared Volumes, CSV) в дата-центрах в Україні та Німеччині. За технологією Storage Spaces операційні дані (віртуальні машини клієнтів) зберігаються на гібридних віртуальних дисках, фізичною основою для яких служать накопичувачі в JBOD: SSD під гарячі дані і кеш запису, ємні HDD - як основний шар зберігання. За рахунок підбору компонентів (серверів, JBOD, дисків) таким універсальним рішенням можна і сьогодні задовольнити потреби 90% клієнтських навантажень.

Йшов час, бізнес клієнтів ріс, змінювалися навантаження додатків. Замість одного віртуального сервера на всі випадки життя («швейцарського ножа») стало зручно мати кілька: під СУБД, додатки (1С, M.E.Doc, CRM ітд.), Окремо під веб-сайт і не-Windows навантаження. Вся інфраструктура повинна обслуговувати офіси і підрозділи в єдиній мережі підприємств з VPN-тунелями. Кластер з гібридною дисковою підсистемою загального доступу - не саме гнучке рішення під інтенсивні навантаження вводу-виводу. Більш того, «комунальне співжиття» віртуальних машин клієнтів з високонавантажених СУБД і сусідів простіше створює незручності тим і іншим. Граничні пікові навантаження викликають збої в роботі і зкорочують життя обладнання.

Створення комфорту додаткам з підвищеними навантаженнями введення-виведення стало новим викликом. В черговий раз піднялася планка вимог до продуктивності, керованості і розширюваності сервісної платформи. Наступним кроком стало освоєння кластерної технології Microsoft Storage Spaces Direct (S2D) - середовища обчислень і зберігання на серверах з локальними дисками. Як і раніше, апаратну частину проектувало серверне ательє Entry.

Storage Spaces Direct

Гіперконвергентная інфраструктура S2D будується на типових серверах, засобами ОС, без сторонніх сховищ SAN / NAS, проста в розгортанні та налаштування. Висока продуктивність досягається апаратними засобами (CPU, NVMe SSD, мережеві адаптери RDMA) і програмними протоколами мережевого обміну SMB Direct. Підключення додаткових серверів в кластер додає ресурси, підвищує стійкість до відмов і керованість. Еластічноcть масштабування S2D особливо приваблива для сервіс-провайдерів - як модель передбачуваного розвитку без зміни ландшафту.

Володимир Малежик (OBLAKO, CTO): «Багато років ми працюємо з кластерами за технологією Microsoft Storage Spaces з JBOD на SSD / HDD і у нас є можливість порівнювати. Як будь-якого сервіс-провайдера, нас стимулюють замовники з підвищеними запитами до продуктивності. Безперервна доступність до даних і додатків потрібна всім нам. Звідси вибір Storage Spaces Direct - природнього розвитку операційного середовища. Завдяки Entry ми побудували економічну реалізацію кластера S2D на односокетних платформах AMD EPYC, зі зберіганням на NVMe SSD. Думаю, перші в Україні»

Вибiр серверiв

На яких серверах будувати кластери S2D, залежить від характеру навантажень і обсягів зберігання. Максимальну продуктивність введення / виводу з передбачувано низькими затримками дає зберігання all-NVMe: SSD c швидким відгуком та великим ресурсом перезапису (Cache) приймають на себе потік операцій довільного доступу, з подальшим перенесенням даних на основний шар зберігання (Capacity) - теж NVMe SSD, але ємні, з меншим ресурсом.

Андрій Тищенко (Entry, керуючий): «однопроцесорна платформа AMD EPYC 7xx2P немов народжена під гіперконвергентние системи: велика кількість обчислювальних ядер CPU і потенціал RAM дозволяють комфортно роздати ресурс віртуальним машинам, в 1U поміщається до 12 накопичувачів U.2 (SFF NVMe SSD), з хорошим запасом по ємності зберігання. Вузли виходять відносно недорогими, початкові витрати на інфраструктуру посильними, розширення простим».

Базою кластера Entry S2D для «Хмари» стали платформа ASUS RS500A-E10-RS12U і 24-ядерні AMD EPYC 7402P. Шар кешування (Cache) зібраний на Intel Optane SSD, дані (Capacity) зберігають накопичувачі Western Digital Ultrastar DC SN640 NAND SSD. Мережеві адаптери 25GbE Mellanox ConnectEx-4 c апаратною підтримкою RDMA швидко синхронізують дані вузлів кластера.

Порівняльні тести

Ухваленню рішення про переведення ресурсоємних додатків на новий кластер допомогли порівняльні тести трьох архітектур. Спойлер: результати перевершили очікування, продуктивність дискових операцій зросла майже вп'ятеро.

Тести імітували OLTP-навантаження (70% читання / 30% записи, довільний доступ блоками 8К) з використанням утиліти DiskSpd по Стандартні сценарієм. Змагалися три типи дискових сховищ: дві старі реалізації і нова, з перенесеної на неї клієнтської навантаженням. Тестування проводилося всередині віртуальних машин «живих» систем, що не на чистих полігонах.

Параметри віртуальної машини: 2-ядра, 2 Гб ОЗУ, 60Гб дискового простору.

S2D, NVMe і транзакційні додатки

У кластера S2D є запас зростання, scale-up і scale-out. В самі сервери можна додати оперативну пам'ять і накопичувачі - благо є місце. За ціною NVMe SSD не дорожче SATA SSD, по ємності їх перевершують, а продуктивність годі й порівнювати. OLTP-додатки особливо яскраво виявляють переваги NVMe.

Горизонтальне масштабування кластера новими вузлами нарощує все обчислювальні ресурси, дає простір їх балансування і ефективне використання простору зберігання. OBLAKO готове до нових викликів.