Петабайти даних систем відеоспостереження: як спроєктувати сховище

Сучасна система відеоспостереження — це сотні й тисячі постійних потоків високої якості, які записуються 24/7. Петабайти даних виникають через велику кількість камер і тривалий термін зберігання відео. Звичайна IP-камера з потоком 8 Мбіт/с генерує близько 60 МБ/хв, 86,4 ГБ/добу та 2,6 ТБ/місяць. Якщо таких камер 1 000, отримаємо близько 2,6 ПБ даних на місяць.

Зростає і якість відео. Раніше типовими були камери 720p/1080p із відносно низьким бітрейтом. Сьогодні поширені камери 4–8 Мп і 4K із високою частотою кадрів, HDR, WDR, нічним режимом та PTZ-функціями, де важлива висока деталізація. Сучасні кодеки — H.264 та H.265/HEVC — дають змогу суттєво стискати відео, але навіть дуже ефективний кодек не здатен зробити петабайтну систему «маленькою».

Тривалість зберігання лінійно збільшує потребу в дисковому просторі. Крім того, потрібно враховувати витрати на RAID, службові дані та резерв вільного простору. Сучасне відеоспостереження записує не лише основний відеоархів: система генерує результати AI-аналітики, снепшоти, дані розпізнавання та пошуку, а також інші метадані. Їх також не варто ігнорувати під час проєктування.

Окрім ємності HDD є багато питань: до серверів запису, контролерів сховища, організації мережевого трафіку, відмовостійкості. Лише сама вимога «зберігати відео 90 днів» може суттєво ускладнити фізичну інфраструктуру обробки та зберігання даних.

Компоненти інфраструктури відеоспостереження

Багаторівнева система, яка оперує петабайтами даних, має забезпечувати безперервну роботу та постійний доступ до відеоархіву. Її типова архітектура включає такі компоненти:

• Збір даних. IP-камери передають відеопотоки, PoE-комутатори агрегують трафік і передають його через виділені VLAN до серверів відеоспостереження.
• Обробка даних на серверах NVR/VMS. Сервери запису приймають і обробляють відеопотоки, керують записом та виконують частину функцій аналітики. На них можуть зберігатися оперативні дані: записи за останні години або дні, відео інцидентів та метадані. Для підключення до центрального сховища сервери оснащують мережевими адаптерами 10/25 GbE.
• Комутація та резервування мережі. Фабрика з двох незалежних Ethernet-комутаторів забезпечує резервування мережевих шляхів. У разі відмови одного з комутаторів трафік може бути перенаправлений через другий за допомогою механізмів резервування.

• Центральне сховище. Для тривалого зберігання відео використовують SAN або NAS із двома контролерами. Ємні HDD об'єднуються у відмовостійкі RAID-групи. Масиви розширюється дисковими полицями (JBOD).

Альтернативою централізованому зберіганню SAN/NAS є горизонтально масштабована архітектура, у якій відео зберігається на локальних дисках серверів. У міру збільшення кількості камер до системи додаються нові вузли, кожен із власними дисковими ресурсами.

Шари даних відеоспостереження

Дані відеоспостереження класифікують за частотою доступу, актуальністю та вимогами до швидкості отримання інформації.

Гарячі дані (Hot Data) — інформація, до якої звертаються найчастіше або яка необхідна для оперативного моніторингу та реагування на інциденти:

• записи за останні години або дні;
• відео з камер у зоні поточного інциденту;
• нещодавно отримані події та метадані;
• дані, що активно використовуються операторами або системами аналітики.

Високопродуктивні SSD/NVMe-накопичувачі, розміщені безпосередньо на серверах NVR/VMS, забезпечують високу швидкість запису та оперативного доступу до відео. Гарячих даних багато не буває, тож SSD/NVMe не обтяжують кошторис проєктів.

Теплі дані (Warm Data) — записи, які використовуються періодично, але не потребують максимальної швидкості доступу:

• записи за останні кілька тижнів або місяців;
• відео, що використовується під час розслідувань;
• архів подій та пов'язані метадані.

Під цей, основний обсяг системи зберігання використовують локальні HDD-сховища серверів, NAS або SAN. Архіви «живих» даних на десятках механічних дисків є цінним активом систем відеоспостереження і потребують відповідного серверного оточення.

Холодні дані (Cold Data) — інформація, до якої звертаються рідко, але яку необхідно зберігати протягом тривалого часу:

• старі архівні записи;
• відео, що зберігається відповідно до внутрішніх політик;
• записи, для яких встановлено тривалий строк зберігання законодавчими або регуляторними вимогами.

Низьку вартість зберігання, надійність і тривалий строк збереження забезпечують ємні об'єктні сховища або стрічкові бібліотеки.  

Терміни «гарячі», «теплі» та «холодні» дані характеризують не властивість самого відеозапису, а режим і частоту доступу до нього. Один і той самий запис може бути «гарячим» під час розслідування інциденту і «остигати» після завершення.

У VMS-платформах, зокрема Milestone XProtect, багаторівневе зберігання реалізується через первинне зберігання записів на високопродуктивному сховищі SSD/NVMe та їх подальше переміщення до архіву на HDD.

Централізоване зберігання проти розподіленого

Обидва підходи мають право на існування:

Централізований масив відокремлює зберігання від обчислень, тоді як ферма серверів об’єднує обчислення та зберігання на вузлах. Єдине сховище приваблює простотою керування, масштабування та спільною базою аналізу відео.

Домівки петабайту даних

Для сховища ємністю у кількасот терабайт потрібні десятки HDD. Типові серверні корпуси стільки не вміщують. За розподіленого зберігання даних на локальних дисках серверів запису доведеться або обмежувати ємність зберігання, або додавати розширення (JBOD) до кожного сервера. Прикладом таких розширювань є популярна лінійка Western Digital Ultrastar Data Series.

У масштабованих системах зберігання JBOD бажані зі зрозумілих причин:

• Щільність даних. Типовий JBOD висотою 4–5U вміщує кілька десятків HDD, забезпечуючи петабайтний масштаб зберігання. Велика ємність і висока пропускна здатність дискових полиць спрощують побудову та подальше розширення сховища.
• Надійність зберігання. Конструкція JBOD розрахована на тривалу роботу великої кількості ємних дисків. Це стосується живлення, охолодження та механічного захисту. Для HDD критичними факторами є перегрів і вібрації: вони прискорюють деградацію магнітної поверхні, збільшують кількість помилок читання та скорочувють термін їхньої служби.
• Інтеграція в екосистему SAS. За допомогою JBOD масштабують дисковий простір зберігання серверів і систем зберігання даних. Це особливо корисно в середовищах, де потреба в ємності зростає швидше, ніж потреба в обчислювальних ресурсах. SAS забезпечує надійне високошвидкісне підключення додаткових дисків і дає змогу поступово нарощувати ємність без принципових змін в архітектурі системи.

І все ж таки центральний двоконтролерний масив

Камери зазвичай не записують відео безпосередньо у велике централізоване сховище. Сервери запису приймають відеопотоки, зберігають їх у локальному буфері, обробляють події, формують файли або сегменти і лише після цього переносять дані в основний масив. Такий підхід поєднує переваги централізованого зберігання з продуктивністю локальної первинної обробки.

Відокремлення серверів запису від ємного HDD-сховища дає змогу використовувати під буферизацію швидкі NVMe-накопичувачі. Вони оптимальні за поєднанням IOPS, затримки та пропускної здатності, коли йдеться про відносно невеликі обсяги даних і високий рівень випадкових операцій введення-виведення.

Основний архів, навпаки, переважно працює з послідовним записом і читанням великих потоків даних. Це сприятливий сценарій для HDD.

Сховище у вигляді спільного мережевого двоконтролерного масиву на ємних SAS HDD має низку важливих переваг:

• Висока відмовостійкість. Два контролери забезпечують резервування керування сховищем, тому відмова одного з них не призводить до втрати доступу до даних.
• Безперервність роботи. У разі збою або планового обслуговування одного контролера навантаження може бути передане на другий без зупинки сервісу.
• Відсутність єдиної точки відмови. У відмовостійких конфігураціях контролери мають незалежні шляхи підключення до дискових полиць і серверів, що зменшує кількість потенційних точок відмови.
• Підтримка multipath. Кілька незалежних каналів доступу до масиву дають змогу автоматично перемикати трафік у разі несправності одного зі шляхів.
• Балансування навантаження. Залежно від архітектури конкретного масиву контролери можуть розподіляти операції введення-виведення між собою, ефективніше використовуючи доступні ресурси.
• Масштабованість. До масиву можна підключати додаткові дискові полиці JBOD через SAS, поступово збільшуючи доступну ємність без перебудови всієї системи.
• Зручність обслуговування. У відмовостійких конфігураціях заміна або технічне обслуговування одного контролера може виконуватися без зупинки системи.
• Централізоване керування даними. Контролери масиву реалізують RAID, кешування, моніторинг стану дисків та інші механізми захисту й керування сховищем.

Отже, двоконтролерний HDD-масив — це логічне рішення для підвищення доступності, відмовостійкості та масштабованості сховища. З розширеннями SAS JBOD він дозволяє будувати системи з поступовим збільшенням ємності.

Ціна має значення

У відеоспостереженні попитом користуються відносно недорогі системи зберігання даних. Вже на масштабах у сотні терабайт основною складовою вартості сховища стають самі диски. Тому перевагу віддають системам, здатним працювати зі стандартними HDD без спеціалізованих прошивок і жорсткої прив'язки до конкретного виробника. Типове завжди дешевше.

Те саме стосується розширень дискових масивів. Власні JBOD до своїх сховищ пропонують практично всі виробники, однак більшість із них дотримується політики обмеженої сумісності.

«Всеїдність» сховища, тобто можливість використовувати типові диски та сумісні дискові полиці різних виробників, зменшує залежність від одного постачальника, розширює свободу вибору компонентів, здешевлює реалізацію та подальше масштабування проєктів. Відкритість архітектури — це не просто питання зручності. Це безпосередньо питання економіки

Приклад реалізації

Сховища ASUS VS320D-RS12/ASUS VS320D-RS26 сумісні з Western Digital Ultrastar Data60 та Western Digital Ultrastar Data102.

JBOD підключаються до основного масиву по SAS. Один широкий порт стандарту 12gbit/s SAS (4 лінії) пропускає потік 4800 MB/s. Таких портів в JBOD декілька. У WD Ultrastar Data60 їх 12, по 6 на кожен модуль введення-виведення IOM. Два модулі IOMA - IOMB дублюють топологію доменів SAS (шляхи до дисків).

Відмовостійке підключення аж до чотирьох JBOD дозволяє зберігати відеоархів на кілька петабайт:

Інфраструктура відеоспостереження, побудована навколо централізованого зберігання даних, має такий вигляд:

Для систем відеоспостереження петабайтного масштабу централізоване зберігання на двоконтролерних масивах із SAS HDD та підключенням JBOD є розумним балансом між ємністю, надійністю та вартістю.

Локальні NVMe на серверах запису забезпечують швидку буферизацію та обробку потоків, а ємний центральний масив — довготривале зберігання архіву. Сумісність із типовими HDD і сторонніми JBOD додатково знижує вартість масштабування та зменшує залежність від одного виробника.

Нарощувати петабайти без зайвої складності та переплати за спеціалізовані компоненти — можливо.