Петабайты данных систем видеонаблюдения: как спроектировать хранилище

Современная система видеонаблюдения – это сотни и тысячи постоянных потоков высокого качества, которые записываются 24/7. Петабайты данных возникают из-за большого количества камер и длительного срока хранения видео. Обычная IP-камера с потоком 8 Мбит/с генерирует около 60 МБ/мин, 86,4 ГБ/сутки и 2,6 ТБ/месяц. Если таких камер 1000, получим около 2,6 ПБ данных в месяц.

Растет и качество видео. Раньше типичными были камеры 720p/1080p с относительно низким битрейтом. Сегодня распространены камеры 4–8 Мп и 4K с высокой частотой кадров, HDR, WDR, ночным режимом и PTZ-функциями, где важна высокая детализация. Современные кодеки H.264 и H.265/HEVC позволяют существенно сжимать видео, но даже очень эффективный кодек не способен сделать петабайтную систему «маленькой».

Продолжительность хранения линейно увеличивает потребность в дисковом пространстве. Кроме того, необходимо учитывать расходы на RAID, служебные данные и резерв свободного пространства. Современное видеонаблюдение записывает не только основной видеоархив: система генерирует результаты AI-аналитики, снепшоты, данные распознавания и поиска, а также другие метаданные. Их тоже не стоит игнорировать во время проектирования.

Кроме емкости HDD есть много вопросов: к серверам записи, контроллерам хранилища, организации сетевого трафика, отказоустойчивости. Одно лишь требование «хранить видео 90 дней» может существенно усложнить физическую инфраструктуру обработки и хранения данных.

Компоненты инфраструктуры видеонаблюдения

Многоуровневая система, оперирующая петабайтами данных, должна обеспечивать непрерывную работу и постоянный доступ к видеоархиву. Ее типичная архитектура включает следующие компоненты:

• Сбор данных. IP-камеры передают видеопотоки, PoE-коммутаторы агрегируют трафик и передают его через выделенные VLAN к серверам видеонаблюдения.
• Обработка данных на серверах NVR/VMS. Серверы записи принимают и обрабатывают видеопотоки, управляют записью и выполняют часть функций аналитики. На них могут храниться оперативные данные: записи в последние часы или дни, видео инцидентов и метаданные. Для подключения к центральному хранилищу серверы оснащают сетевыми адаптерами 10/25 GbE.
• Коммутация и резервирование сети. Фабрика из двух независимых Ethernet-коммутаторов обеспечивает резервирование сетевых путей. В случае отказа одного из коммутаторов трафик может быть перенаправлен через второй посредством механизмов резервирования.

• Центральное хранилище. Для длительного хранения видео используют SAN или NAS с двумя контроллерами. Емкие HDD объединяются в отказоустойчивые RAID-группы. Массивы расширяются дисковыми полками (JBOD).

Альтернативой централизованному хранению SAN/NAS является горизонтально масштабируемая архитектура, в которой видео сохраняется на локальных дисках серверов. По мере увеличения количества камер в систему добавляются новые узлы, каждый со своими дисковыми ресурсами.

Слои данных видеонаблюдения

Данные видеонаблюдения классифицируют по частоте доступа, актуальности и требованиям к скорости получения информации.

Горячие данные (Hot Data) — информация, к которой обращаются чаще всего или которая необходима для оперативного мониторинга и реагирования на инциденты:

• записи за последние часы или дни;
• видео с камер в зоне текущего инцидента;
• недавно полученные события и метаданные;
• данные, активно используемые операторами или системами аналитики.

Высокопроизводительные SSD/NVMe-накопители, размещенные непосредственно на серверах NVR/VMS, обеспечивают высокую скорость записи и оперативный доступ к видео. Горячих данных много не бывает, поэтому SSD/NVMe не отягощают смету проектов.

Теплые данные (Warm Data) — периодически используемые записи, но не требующие максимальной скорости доступа:

• записи за последние несколько недель или месяцев;
• видео, используемое при расследованиях;
• архив событий и связанные метаданные.

Под этот основной объем системы хранения используют локальные HDD-хранилища серверов, NAS или SAN. Архивы «живых» данных на десятках механических дисков являются ценным активом систем видеонаблюдения и нуждаются в соответствующем серверном окружении.

Холодные данные (Cold Data) — информация, к которой редко обращаются, но которую необходимо хранить в течение длительного времени:

• старые архивные записи;
• видео, хранящееся в соответствии с внутренними политиками;
• записи, которым установлен длительный срок хранения законодательными или регуляторными требованиями.

Низкую стоимость хранения, надежность и длительный срок хранения обеспечивают емкие объектные хранилища или ленточные библиотеки.

Термины "горячие", "теплые" и "холодные" данные характеризуют не свойство самой видеозаписи, а режим и частоту доступа к нему. Одна и та же запись может быть «горячей» при расследовании инцидента и «остывать» после завершения.

В VMS-платформах, в частности Milestone XProtect , многоуровневое хранение реализуется через первоначальное хранение записей на высокопроизводительном хранилище SSD/NVMe и их последующее перемещение в архив на HDD.

Централизованное хранение против распределенного

Оба подхода имеют право на существование:

Централизованный массив отделяет хранение от вычислений, в то время как ферма серверов объединяет вычисления и хранения на узлах. Единое хранилище привлекает простотой управления, масштабирования и общей базой анализа видео.

Жилища петабайта данных

Для хранилища емкостью в несколько сот терабайт требуются десятки HDD. Типовые серверные корпуса столько не вмещают. При распределенном хранении данных на локальных дисках серверов записи придется либо ограничивать емкость хранения, либо добавлять расширение (JBOD) к каждому серверу. Примером таких расширений является популярная линейка Western Digital Ultrastar Data Series .

В масштабируемых системах хранения JBOD желательны по понятным причинам:

• Плотность данных. Типичный JBOD высотой 4–5U содержит несколько десятков HDD, обеспечивая петабайтный масштаб хранения. Большая емкость и высокая пропускная способность дисковых полок упрощают построение и дальнейшее расширение хранилища.
• Надежность хранения . Конструкция JBOD рассчитана на продолжительную работу большого количества емких дисков. Это касается питания, охлаждения и механической защиты. Для HDD критическими факторами являются перегрев и вибрации: они ускоряют деградацию магнитной поверхности, увеличивают количество ошибок чтения и сокращают срок службы.
• Интеграция в экосистему S AS . С помощью JBOD масштабируют дисковое пространство хранения серверов и систем хранения данных. Это особенно полезно в средах, где потребность в емкости возрастает быстрее, чем потребность в вычислительных ресурсах. SAS обеспечивает надежное высокоскоростное подключение дополнительных дисков, позволяя постепенно наращивать емкость без принципиальных изменений в архитектуре системы.

И все же центральный двухконтроллерный массив

Камеры обычно не пишут видео непосредственно в крупное централизованное хранилище. Серверы записи принимают видеопотоки, сохраняют их в локальном буфере, обрабатывают события, формируют файлы или сегменты и только после этого переносят данные в основной массив. Такой подход объединяет преимущества централизованного хранения с производительностью локальной первичной обработки.

Отделение серверов записи от емкого хранилища HDD позволяет использовать под буферизацию быстрые NVMe-накопители. Они оптимальны по сочетанию IOPS, задержке и пропускной способности, когда речь идет об относительно небольших объемах данных и высоком уровне случайных операций ввода-вывода.

Основной архив, напротив, в основном работает с последовательной записью и чтением больших потоков данных. Это подходящий сценарий для HDD.

Хранилище в виде общего сетевого двухконтроллерного массива на емких SAS HDD имеет ряд важных преимуществ:

• Высокая отказоустойчивость. Два контроллера обеспечивают резервирование управления хранилищем, поэтому отказ одного из них не приводит к потере доступа к данным.
• Непрерывность работы. При сбое или плановом обслуживании одного контроллера нагрузка может быть передана на другой без остановки сервиса.
• Отсутствие единой точки отказа. В отказоустойчивых конфигурациях контроллеры имеют независимые пути подключения к дисковым полкам и серверам, что уменьшает количество потенциальных точек отказа.
• Поддержка multipath. Несколько независимых каналов доступа к массиву позволяют автоматически переключать трафик в случае неисправности одного из путей.
• Балансировка погрузки. В зависимости от архитектуры конкретного массива контроллеры могут распределять операции ввода-вывода между собой, более эффективно используя доступные ресурсы.
• Масштабируемость. К массиву можно подключать дополнительные дисковые полки JBOD через SAS, постепенно увеличивая доступную емкость без перестройки всей системы.
• Удобство обслуживания. В отказоустойчивых конфигурациях замена или техническое обслуживание одного контроллера может производиться без остановки системы.
• Централизованное управление данными. Контроллеры массива реализуют RAID, кэширование, мониторинг состояния дисков и другие механизмы защиты и управления хранилищем.

Итак, двухконтроллерный HDD-массив – это логичное решение для повышения доступности, отказоустойчивости и масштабируемости хранилища. С расширениями SAS JBOD он позволяет строить системы с постепенным увеличением емкости.

Цена имеет значение

В видеонаблюдении спросом пользуются относительно недорогие системы хранения данных. Уже на масштабах сотни терабайт основной составляющей стоимости хранилища становятся сами диски. Поэтому предпочтение отдают системам, способным работать со стандартными HDD без специализированных прошивок и жесткой привязкой к конкретному производителю. Типовое всегда дешевле.

То же касается расширений дисковых массивов. Собственные JBOD к своим хранилищам предлагают практически все производители, однако большинство из них придерживается политики ограниченной совместимости.

«Всеядность» хранилища, то есть возможность использовать типовые диски и совместимые дисковые полки разных производителей, уменьшает зависимость от одного поставщика, расширяет свободу выбора компонентов, удешевляет реализацию и дальнейшее масштабирование проектов. Открытость архитектуры – это не просто вопрос удобства. Это непосредственно вопрос экономики

Пример реализации

Хранилища ASUS VS320D-RS12 / ASUS VS320D-RS26 совместимы с Western Digital Ultrastar Data60 и Western Digital Ultrastar Data102 .

JBOD подключаются к основному массиву по SAS. Один широкий порт стандарта 12Gbit/s SAS (4 линии) пропускает поток 4800 MB/s. Таких портов у JBOD несколько. В WD Ultrastar Data60 их 12, по 6 на каждый модуль ввода-вывода IOM. Два модуля IOMA – IOMB дублируют топологию доменов SAS (пути к дискам).

Отказоустойчивое подключение до четырех JBOD позволяет хранить видеоархив на несколько петабайт:

Инфраструктура видеонаблюдения, построенная вокруг централизованного хранения данных, выглядит так:

Для систем видеонаблюдения петабайтного масштаба централизованное хранение на двухконтроллерных массивах с SAS HDD и JBOD является разумным балансом между емкостью, надежностью и стоимостью.

Локальные NVMe на серверах записи обеспечивают быструю буферизацию и обработку потоков, а емкий центральный массив – длительное хранение архива. Совместимость с типовыми HDD и сторонними JBOD дополнительно снижает стоимость масштабирования и уменьшает зависимость от одного производителя.

Наращивать петабайты без излишней сложности и переплаты за специализированные компоненты возможно.