Мотиватори гібридних систем зберігання даних
У гібридних СЗД зведені воєдино гідності SSD (низькі затримки) і HDD (дешевизна зберігання). Їх козирі: висока продуктивність, просте масштабування, доступна ціна. Масиви all-flash ще продуктивніше, але набагато дорожчі та не покривають завдання обслуговування великих обсягів даних.
Гібриди бувають програмно-визначеними або апаратними, з кешуванням повільних дисків флеш-пам'яттю або багатошарової архітектури, з автоматизацією перенесення даних між носіями і без. Вони з'явилися на ринку зберігання давно - як відповідь на вибухове зростання обсягів цифрових активів. Петабайтом сьогоднi нікого не здивувати.
Дані нерівноцінні і в різному ступені затребувані додатками. Брутто-дані (bulk data) тримають на механічних дисках, SSD-шар парирує навантаження критичних додатків. Трафік гібридних систем наочно описують в термінах «гарячого-холодного».
«Термодинаміка» даних
Під «температурою» метафорично розуміють частоту опитування даних додатками. Масив інформації, що зберігається подібний піраміді. На її піку - дані частого звернення, «гарячі». Таких небагато, вони мінливі, швидкість доступу до них критична. Чим менше запитів до даних і рідше їх оновлення - тим вони «холодніше». Остигнули маси покояться в основі, але залишаються при цьому в ротації, єдиному полі адрес, аналітики і пошукових запитів. Окремо стоять «заморожені» дані - відокремлені статичні архіви, зберігати які зазвичай наказують регулятори.
Оптимізація зберігання даних змінної температури породила ієрархічне управління HSM (Hierarchical Storage Management) - технології автоматичного розподілу даних між швидкими (дорогими) і повільними (дешевими) накопичувачами. У СЗД з багатошаровим зберіганням і HSM основна маса даних розміщується на механічних дисках або стрічці великого об'єму. Наслідуючи динаміку запитів введення/виведення, дані переносяться у флешпам'ять і назад, в економ-клас.
Дані дихають.
Було б зручно взагалі усі дані зберігати в одному місці та нехай системи зберігання самі стежать за їх температурою, самі переміщають між шарами. Цьому є декілька перешкод. Як звести дані різних джерел в єдине кероване сховище? Як передбачити пропорції гарячого і холодного, які об'єми носіїв передбачити під них? Чи не краще замість інвестицій в дорогі системи зберігання з HSM використати стороннє ПЗ для аналізу і переміщення даних між типовими пулами зберігання?
Активність даних розподілена в часі і просторі. Підприємства збирають дані на периферійних пристроях ("тепло"), потім відправляють їх у відстійники (data pools), де вони остигають ("холодно"). Потім з ними працюють сервери баз даних або аналітичні сервери ("гаряче"). Создаются резервні копії ("тепло"). Нарешті, дані ховають в далеких архівах ("глибоке заморожування").
Створення і зберігання даних поступово міняють динаміку, природу, географію.Росте попит на периферійні обчислення. Підприємства готуються до півтора кратного зростання об'ємів зберігання в рік, на периферії осідає значна частина цифрових даних.
"Ніхто ніколи нічого не знає напевно"
Цінність даних завжди відносна. Час покаже. Чи так складуться обставини. Заздалегідь невідомо, яка камера відеоспостереження зафіксує момент злочину. Аномальні результати виборів перевіряються статистичними методами, після бійки. Передбачити при створенні книги або фільму, що вони стануть бестселером, складно.
Як приклад, дві історії про Пола Маккартні
Мелодія Yesterday прийшла йому уві сні. Пісня місяцями залишалася недоробленою, з робочою назвою "Яєчня" і таким же випадковим текстом "Scrambled eggs, Oh, my baby how I love your legs". Продюсер Beatles Джордж Мартін встиг записати та випустити на американський ринок інструментальну версію п'єси (не притягнула уваги). Остаточний варіант тексту прийшов пізніше, а в записі не брали участь інші бітлы - тільки Маккартні та струнний квартет. За опитуваннями і результатами продажів Yesterday сьогодні називають кращою піснею XX століття.
Останній записаний Beatles альбом Abbey Road завершує Her Majesty, коротка соло-композиція Маккартні. Її там не повинно було бути. Вірніше, вона могла увійти до попурі другої сторони пластинки - між Mean Mr.Mustard і Polythene Pam. Але не увійшла. При зведенні доріжок Пол вирішив, що пісня йому не подобається і велів звукорежисерові відправити її до сміття. Той слухняно відрізував шматок мастер-стрічки із записом. Але його навчили нічого не викидати. "Хазяйська дитина", він підібрав фрагмент з підлоги після відходу Маккартні зі студії та підклеїв в кінець котушки. Виявивши на ранок Her Majesty у фіналі альбому, Пол прийняв подію як даність. А іншим було все одно - команда доживала останні дні.
Зберігаємо все, а там розберемося
Ось і зберігають цифрові активи довго, не знаючи майбутньої значущості даних. У кожній компанії є свій спектр цінностей і своя стратегія використання класів зберігання : в оперативній пам'яті, на SSD або містких механічних дисках. Приємно помріяти про автоматичне переміщення даних між носіями залежно від вимог до продуктивності. Але, щоб було між чим переміщати, потрібно спершу мати гібридне середовище зберігання. А засоби автоматизації мати у вигляді сервісів, що докупаються. Найпростіший і природніший варіант - автономне сховище на дисках SAS SSD/HDD . Воно дозволяє даним усіх рівнів цінності бути доступним в єдиному полі - без бар'єрів для користувачів, без додаткових витрат на розміщення даних. У економічному зберіганні потрібний баланс: між холодними та гарячими даними, ціною реалізації шарів зберігання і продуктивністю, між платою за сервіс і ефектом від його впровадження.
Доступність даних
Сховище - це не лише місткість і продуктивність, але, головним чином, доступність. Її описують у відсотках від загального часу, впродовж якого система зберігання нормально обслуговує запити. Системи зберігання високої доступності (High Availability, HA) зазвичай мають показники в діапазоні від 99,9% до 99,999% ("п'ять дев'яток" відповідають приблизно п'яти хвилинам допустимого простою в рік). Ключова особливість сховища високої доступності - надмірність компонентів, відсутність єдиної точки відмови (Single Points Of Failure, SPOF). У такому масиві мінімум два контролери, вихід будь-якого з ладу не призводить до простою. Дубльовані блоки живлення, модулі охолодження, шляхи до дисків.
На живому прикладі
Гібридні системи зберігання пропонують багато. Як правило, це двохконтролерні масиви з мережевими інтерфейсами зі специфікацією постачальника, на дисках з прошивками вендора і розширювані дисковими полицями того ж вендора. З одного боку, жорсткою політикою вибору конфігурації та накопичувачів виробник знижує риски покупця. З іншою, будь-які обмеження служать виправданням цінової кабали, в яку той заганяється.
Приклад відкритого (модульного) підходу показує QSAN - тайваньський розробник систем зберігання. Контролери систем QSAN обслуговують запити паралельно (active - active). Така архітектура подвоює доступну пропускну спроможність хосту і частоту попадань в кеш, гарантуючи, що в системі не будуть витрачені даремно ресурси. У базову плату кожного контролера можна ставити карти розширення (10-25Гбит Ethernet або 16-32Гбит FC) і додавати оперативну пам'ять. Докупанються опції SSD caching і Auto - Tiering що дозволяють використати SSD і HDD шари у зв'язці.
Фізично ж гібридне рішення може виглядати так.
QSAN XS5226 - базова платформа під 26 дисків формату 2.5".
Підтримуються стандартні SAS SSD і HDD. З огляду на зростання обсягів зберігання, краще поставити в головний систему SSD необхідної кількості та ємності, а механічні HDD винести в полку розширення QSAN XD5324, що підключається до голови по 12Гбіт SAS:
Якщо і цього мало, вигідно підключати високомістку полицю Western Digital Ultrastar Data60 заввишки 4u на 60 дисках, а то її 102-дискову старшу сестру:
Таким може бути продуктивний кластер VMware vSphere:
У системах зберігання QSAN реалізовані такі функції, як тонке виділення ресурсів, автоматичне багаторівневе розміщення, створення моментальних знімків, а також локальне клонування і видалена реплікація для аварійного відновлення, все доступно через веб-браузер. Приміром, моментальні знімки прискорюють аварійне відновлення даних зі сховища резервних копій у видаленому центрі обробки даних.
Їх звичаї
Швейцарська компанія SFC робить послуги з IT- криміналістиці, відстежуванню активів і комплексній перевірці підприємств. Для цього потрібна інфраструктура, що дозволяє швидко збирати, зберігати, шукати та витягати великі обсяги інформації. Для розслідувань зберігаються неструктуровані дані, такі як електронна пошта, документи Word і безліч інших файлів, що отримуються від клієнтів. Метадані, що збираються з файлів, зберігаються у базі даних SQL, що дозволяє швидко шукати необхідні документи для подальшої роботи з ними.
Коли ядро роботи - обробка та аналіз великих масивів цих клієнтів, а додаткам, особливо базам даних SQL, для ефективної роботи потрібно високошвидкісне надійне сховище, гібридна СЗД - очевидне рішення. SFC вибрала QSAN XS5226 місткістю близько 50ТБ на SSD, з розширенням Western Digital Ultrastar Data60 JBOD на петабайт. Загальну місткість зберігання можна збільшити в рази підключенням додаткових полиць.
Наостанок
"Фішкою" іменитих систем зберігання даних є багата функціональність і декларована сервісна підтримка. У небагатій країні зі скромними за світовими мірками цифровими активами, правовим нігілізмом і поганою логістикою, доводиться покладатися на себе. Тобто вибирати під рішення завдань устаткування, що дозволяє домагатися приватних цілей доступними засобами. Чим менше обмежень - тим звичайне рішення дешевше.
Зберігання даних (як і випал горщиків) - не божий промисел. Очі бояться, руки роблять.