Тяготи стройової служби механічних дисків

Хмарний оператор Backblaze зробив собі ім'я оригінальним вірусним маркетингом. Але не своїм прямим діяльності - кого сьогодні здивуєш сервісом резервного зберігання? Компанія має у своєму розпорядженні поголів'ям понад 140 тисяч жорстких дисків і щоквартально публікує статистику їх падежу, з розбивкою по породах (виробникам і моделям). Цифри охоче розносять мережею журналісти та аналітики, промоутери та хейтери. Інших відкритих даних по «надійності» HDD все одно немає.
Ось останній звіт.

Ризики

Місткий механічні диски ще багато років будуть основою зберігання дата-центрів і генераторів контенту (відеоспостереження, відео виробництво, доповнена реальність). Коли в складі кожної системи зберігання десятки накопичувачів, об'єктом особливої ​​уваги стають умови їх спільного змісту.
З багаторічних спостережень Backblaze виходить, що середній по індустрії дисків показник AFR (Annual Failure Rate) поступово поліпшується - виробники вдосконалюють технології і виробничі процеси. Але і такий, здавалося б невеликий AFR як 0.81%, не можна ігнорувати. Для системи зберігання на 60 HDD ймовірність щорічної аварії наближається до 50%, а з віком стає ще вище.

Відмови дисків, нехай і не призводять до негайної втрати даних (RAID, бекап), зате вносять розлад, просаджують продуктивність систем зберігання і віднімають час на відновлення їх повної працездатності.

Сервіс

Корпоративного обивателя привчили, що головне в «сервісі» - швидкість приїзду гінця з запчастинами, замість компонентів які вийшли з ладу. Бізнес на сервісних контрактах був і залишається окремою статтею доходу продавців іменитих СЗД. На щастя, різноманіття завдань і розквіт програмно-обумовленого зберігання розширили кругозір користувачів: сервіс починається задовго до покупки - з розуміння потенційних загроз даними і аналізу засобів запобігання їм.

Пристрій монолітних систем зберігання обговорювати немає сенсу - тільки функціональність. Інша справа програмно - які визначаються або модульні сховища. Їх дизайн визначає багато: від продуктивності до розширюваності. Занурюючись в їх внутрішній світ на стадії проєктування, можна оптимізувати завдання, уникнути помилок, послабити сервісну залежність від постачальника.

Анатомія дисків

Як все високоточне механічне, жорсткі диски - втілення передової інженерної думки. Про боях за ємність і надійність HDD складені епоси.

Знати «як це влаштовано» важливо, однак користувача частіше цікавить питання «що саме підходить під мої завдання?». Коло постачальників накопичувачів для містких сховищ комерційного призначення невеликий. Трійця Western Digital - Seagate - Toshiba виробляє диски NL SAS і SATA enterprise-класу місткістю до 20TB. Чиї купувати - справа смаку, переваги одних і вади інших часто умоглядні. Когось приваблює наповнення дисків гелієм і економія на електриці, інші вибирають «атмосферні» диски - все-таки вони дешевші. Деякі вчитуються в принципи роботи головок, що записують, більшості байдуже. Якщо не робити грубих помилок (наприклад, збирати під інтенсивний оборот даних масиви з HDD з черепичним записом, SMR), спроможні всі моделі всіх виробників. Ніхто з них не виводить свідомо на корпоративний ринок неякісний продукт. (Іноді воно виходить саме, а наслідки проявляються через багато років - доля крива). Одним словом, все HDD хороші. Слово за кухарем.

Перевірка на дорогах

У дисків є S.M.A.R.T. - діагностика і статистика вибігу (workload rating). У спеціалізованих ОС систем зберігання даних і RAID-контролерів є утиліти перевірки стану магнітної поверхні - для своєчасного виявлення проблемних накопичувачів.

Небезпека для об'ємного зберігання представляє приховане пошкодження даних (silent data coruption) - найгірший тип дискових помилок. Вони не ловляться апаратними контролерами і операційною системою - поки не наступають наслідки, втрата цілісності даних. Допомагає перерахунок контрольних сум для кожного блоку записуються даних - як це зроблено у ZFS або Raidix.

Вороги механічних дисків

Якщо не брати до уваги людський фактор, то їх два: вібрація і температура. Ерозія магнітної поверхні і рознос пилу з розмноженням дефектних блоків зазвичай є наслідками цих двох зовнішніх впливів.
Ротаційна вібрація виникає при розкручуванні шпинделя HDD або зовнішньому впливі, навіть акустичному. У дисків є вбудовані механізми захисту від наведеної вібрації (акселерометри зі зворотним зв'язком), але щільне розміщення накопичувачів в компактному корпусі посилює їх взаємний вплив один на одного. Коли магнітна головка зміщується з треку під дією зовнішніх факторів, мікроконтролер диска позиціонує її заново, через що час читання/запису даних значно зростає. При впливі на диск, що працює ротаційної вібрації з кутовим прискоренням в 50 рад/с²  втрати продуктивності можуть перевищити поріг в 70%.

Проходячи від передньої панелі дискової полки назад, повітряний потік нагрівається. Як і в разі вібрації, перегріву сприяє щільне розташування дисків в кілька рядів. В результаті, накопичувачі задніх рядів потрапляють в пекло. Різні джерела сперечаються про вплив низьких температур на частоту відмов, але всі сходяться на тому, що високі їм точно шкодять.

Навіть дають кількісні оцінки: ймовірність відмов зростає вдвічі на кожні 15 градусів зростання температури. Архітектура сховищ виявляється важливим фактором впливу на тривалість життя дисків. Не всі вони рівноцінні, «обійми» деяких надмірно гарячі:

JBOD як фундамент зберігання

З поширенням програмно-визначених систем зберігання даних з'явився і зміцнів окремий клас серверного обладнання - JBOD. Раніше так називали режим адресації дисків контролерами і операційними системами. Тепер цим терміном визначають автономні дискові контейнери, які підключаються до керуючих відстежувати переходи по посиланню SAS. Всі системи життєзабезпечення JBOD (модулі вводу/виводу, експандери, шляхи до дисків, блоки живлення і вентиляції) дубльовані. Зустрічаються і спрощені моделі - адаптовані варіанти типових серверних корпусів: без надмірного харчування, дублювання каналів і технологічних вишукувань. На таких відповідальне зберігання не збудувати.

Завдання JBOD як базового будівельного блоку - забезпечити якісне брутто-складування даних: комфортні умови роботи дисків і надійний доступ до них хостів. Сучасний JBOD висотою 4U вміщує від 60 до 100+ дисків 3.5 ",  дозволяє змінювати їх на гарячу, має два модулі введення/виводу і 6-8 портів 12Gb SAS. До портів SAS можна підключити декілька хостів, c зонуванням доступу до груп дисків. Всім заправляють хости.

На живому прикладі

JBOD є в асортименті постачальників систем зберігання - як їх же (специфічні) розширення, Їх пропонують деякі виробники серверних корпусів. Свої мотиви знайшла Western Digital. Основний бізнес компанії - механічні і твердотілий накопичувачі. JBOD від Western Digital стали кроком назустріч корпоративному ринку, що оперує не окремими накопичувачами, а цілими екосистемами зберігання. Їх основу складають системи на все тих же «обертових бляшанках». У кожній - десятки шпинделів. Хто як не виробник накопичувачів розумітися (на чому) в створенні дискового комфорту? Western Digital пропонує два варіанти JBOD - Ultrastar Data 60 (на 60 дисків) і Ultrastar Data 102 (на 102 диски).

Технологія придушення ротаційної вібрації Western Digital IsoVibe (буквально, «ізоляція вібрації») знижує резонанс усередині корпусу і локалізує вібрацію в межах одного дискового відсіку. В Ultrastar Data JBOD немає гвинтових кріплень - накопичувачі фіксуються за допомогою амортизованих санчат. Роз'єми приймальні шахти JBOD розташовані на текстоліті з прорізами.

Система охолодження ArcticFlow побудована на роздільному припливної вентиляції. JBOD ділиться на зони охолодження, ізольовані один від одного. Повітряні потоки, що забезпечують вентиляцію передньої зони, відводяться по обвідних каналів. До задніх рядів веде свій воздуховод. Крім того, окремий потік холодного повітря підводиться до блоків харчування і модулів вводу/виводу.

ArcticFlow дозволила скоротити різницю температур між передньою і задньою зонами: розкид між ними не перевищує 10°C. На самому «гарячому» ділянці, останньому ряду, максимальна температура HDD не підіймаєтся вище 49°C.

Які ваші докази?
Скористаємося чужими.

IsoVibe зменшує обертальну вібрацію приводів на 60%, проти звичайних серверних корпусів. Холостий пробіг внаслідок помилкового позиціонування головок зменшується на 24%.

У «звичайних» JBOD 30% дисків нагріваються в середньому на 13°C сильніше, ніж у Western Digital Ultrastar Data 102c ArcticFlow. За моделлю Аррениуса ймовірність виходу з ладу постійно перегрітих дисків вище на 44%, що неминуче призводить до передчасного старіння і ранньої смерті HDD.

Від фізики до практики

Чи не занадто багато честі, приділяти стільки уваги JBOD?  Це ж не системи зберігання, всього лише їх частину, ємні контейнери. Не занадто. Об'ємні дані сьогодні тримати більше нема на чому, крім як на механічних дисках. Ставитися до HDD як витратних матеріалів накладно - реконструкція масиву після аварії може йти тижнями, а недбалість обертається повною втратою даних.

У хороших господарів все йде як по Марксу: спершу базис (пристойні умови утримання дисків), потім надбудова (управління даними).