Настройка видеоаналитики

Общие сведения

Платформа НЕЙРОСС реализует современные алгоритмы компьютерного зрения или нейронные сети для быстрого и качественного анализа видеопотока ONVIF/RTSP-камер. Встроенные детекторы ситуационной и сервисной аналитики предназначены, соответственно, для выявления и предупреждения нарушений и контроля качества видеосигнала.

Быстрые и точные алгоритмы видеоанализа позволяют автоматически определять на видео тревожные ситуации:

• пересечение линий с подсчётом числа пересечений, в том числе в заданном направлении;
• вход объекта в запрещённую зону, длительное пребывание в зоне;
• движение в запрещённом направлении, движение с запрещенной скоростью;
• обнаружение оставленных предметов (чемоданы, сумки, рюкзаки и проч.);
• обнаружение и распознавание лиц и распознавание номеров автотранспорта (с использованием средств сторонних производителей).

Сервисная видеоаналитика в части контроля качества видеосигнала детектирует:

• расфокусировку,
• засветку,
• закрытие объектива (заслонку),
• изменение зоны обзора и тряску камеры.

Технологии видеоанализа

На текущий момент в Платформе реализованы и развиваются независимо друг от друга два подхода к выделению образов в видеопотоке для охранной видеоаналитики:

1. «Алгоритмический» — на базе алгоритмов компьютерного зрения и определения разницы между кадром и автоматически сформированной опорной сценой. 
   Алгоритмическая видеоналитика выявляет закономерности по изменениям нескольких последовательных кадров согласно заложенным алгоритмам. В основе алгоритмической видеоналитики лежит простое обнаружение движения. При изменении цвета группы пикселей, механизм ПО будет рассматривать это событие как нечто движущееся в зоне обзора. Модуль алгоритмической видеоаналитики использует только CPU, характеризуется высокой производительностью, но очень требователен к зоне обзора. Не рекомендуется к использованию на открытых объектах, подверженных сильным ветрам и другим природным возмущениям.
   
   
2. «Нейросетевой» — на базе предварительно обученной нейронной сети. 
   Нейросетевая видеоналитика позволяет выполнять анализ даже одного кадра на основе распознавания образов (паттернов) людей, машин и других классов объектов. Нейросетевой модуль гораздо меньше подвержен ложным срабатываниям, рекомендуется для открытых объектов, но гораздо более требователен к производительности компьютера: работает только на видеокартах производства nVidia (+CPU), требует предварительно установленных драйверов nVidia.

В общем случае на производительность влияет размер анализируемого изображения. Для алгоритмической аналитики рекомендуется использовать low (320x240 px) и middle (640x480 px) профили, для нейросетевой - middle-профили (640x480 px). На слишком низких разрешениях распознавание образов становится менее надёжным. Возможность тонкой настройки снижает количество ложных срабатываний. Обеспечивается возможность настройки области интереса и правил срабатывания. Для охранной аналитики и детектора оставленных предметов возможно использовать только один модуль аналитики. При использовании алгоритмической аналитики есть возможность настроить перспективу сцены (минимальные и максимальные размеры детектируемого объекта вблизи (слева и справа отдельно) и вдали, есть возможность настройки перспективы сцены и размеров объектов и оставленных предметов независимо.

Сервисная аналитика реализуется в «алгоритмическом» модуле.

Производительность видеоанализа в большой степени зависит от параметров сцены, количества объектов, конфигурации профилей камеры.

1. На 12-ядерном Xeon алгоритмическая аналитика «держит» 60 каналов low profile в real-time (20 fps).
2. На нём же с видеокартой GeForce GTX 1080Ti для анализа одного midlle profile при помощи «нейросетей» в real-time (24 fps) требуется 100% ресурса 1 CPU и 80% ресурса 1 GPU. 

Однако, real-time анализ для видеоаналитки необязателен, хотя и повышает отслеживания (низкий FPS повышает вероятность потери объекта). Производительность обратно пропорциональна размеру и количеству кадров: прореживание 5 в секунду позволяет получить анализ 5 видеопотоков при той же загрузке GPU (но с чуть большей загрузкой CPU). НО есть ограничение на количество оперативной памяти в видеокарте. Для анализа каждого потока необходимо выделить минимум 3 Гб этой памяти, вне зависимости от настройки прореживания кадров. 

Запуск видеоанализа

1. Выберите узел Платформа НЕЙРОСС, для которого требуется запустить работу видеоаналитики. Для этого перейдите к разделу Настройка видеорегистраторов > Настройка записи и укажите IP-адрес узла. При авторизации под учётной записью root возможно управление только текущим узлом. Для настройки нескольких узлов из единого окна авторизуйтесь под «облачной» учётной записью.

   При наличии в сети нескольких узлов Платформа НЕЙРОСС (с прямыми каналами камер и «проксированными» медиаисточниками соответственно, рекомендуется запускать видеоанализ на более «мощном» узле. Рамки видеоналитики передаются по проксированному каналу поверх медиаданных.

2. Перейдите к вкладке Настройка видеоналитики, выберите камеру и профиль (при наличии нескольких профилей), по которому будет проводится видеоанализ, включите требуемый тип/типы видеонализа и настройте параметры согласно описанию ниже.
3. Нажмите на кнопку Сохранить.

Охранная аналитика и Детектор оставленных предметов

1. Для запуска видеоанализа установите флаг в соответствующем блоке и настройте параметры.

    Раскрыть | Параметры охранной аналитики

   Параметр	Диапазон значений	Значение по умолчанию	Примечание
   Охранная аналитика
   Модуль аналитики	Алгоритмический (CPU) Нейросетевой (GPU)	Алгоритмический (CPU)	Модуль нейросетевой аналитики использует графический процессор, поэтому предъявляет строгие требования к видеокарте и установленным драйверам. По умолчанию модуль нейросетевой аналитики не установлен. После запуска предоставляемого по требованию пакета установки (DEB-пакета), модуль становится доступен автоматически. Модуль алгоритмической видеоналитики использует центральный процессор, предъявляет меньше требований к ресурсам, но менее точен. Для охранной аналитики и детектора оставленных предметов возможно использовать только один модуль аналитики.
   Чувствительность	1 – 100%	50%	В случае использования алгоритмического модуля — это интегральный (общий) параметр, который позволяет задать порог, до достижения которого отсекаются все случайные возмущения (объекты появились на очень короткий промежуток времени, случайные тени, блики света); позволяет варьировать минимальное количество изменений в соседних кадрах, необходимо для детекции движения; подбирается согласно специфики сцены. В случае использования нейросетевого модуля —  это величина, обратная confidence rate («уверенности» нейросети или минимальной вероятности того, что объект распознан точно). Чем выше чувствительность, тем ниже может быть планка confidence rate у выделенного объекта, чтобы он был допущен до следующего этапа трекинга. Чувствительность=100% минус порог (минимальная вероятность, которая будет пропущена модулем аналитики). При 100% чувствительности определяется максимальное количество ложных срабатываний. Например, если минимальная вероятность определения типа объекта – 25%, то чувствительность нужно задать равную 75%.
   Время дребезга	Время в сек.	1 сек.	Период времени, в течение которого несколько последовательно происходящих однотипных событий будут интерпретироваться модулем аналитики как одно. Определяет минимальное время между публикуемыми событиями о сработке правил. Предотвращает дублирование тревог в силу колебаний видеоизображения.
   Прореживание кадров	Количество кадров в сек.	0	Определяет количество кадров в секунду, которое подаётся на вход модулю аналитики. Если указан 0, используются все кадры из потока. Вне зависимости от этой настройки, в случае, если модулю аналитики не хватает вычислительных ресурсов, чтобы анализировать поступающий поток, прореживание кадров осуществляется автоматически: кадр не подаётся на вход модулю видеоанализа, но подается на декодирование изображения, чтобы не страдало качество «картинки». Таким образом, даже при высокой загрузке сохраняется возможность анализа в real time, но с поправкой на то, что часть кадров будет отброшена.
   Детектор оставленных предметов
   Задача детекции оставленных предметов тесно связана с задачей треккинга, поэтому, включение детектора оставленных предметов автоматически включает охранную аналитику. Полноценно любые произвольные оставленные предметы можно детектировать только в алгоритмической видеоаналитике (с построением модели фона и пр.). Однако, нейросетевая аналитика умеет распознавать чемоданы и рюкзаки, а также отслеживать их на сцене в качестве оставленных предметов, но вероятность того, что она будет корректно распознавать бесформенные мешки, всё равно довольно низка. Для алгоритмической аналитики есть возможность «базовой» и «расширенной» настройки оставленных предметов. При базовой настройке ряд параметров задаётся автоматически, в том числе при помощи эвристик и с учётом текущей опорной сцены. При расширенной настройке данные параметры жёстко фиксируются пользователем.
   Порог срабатывания	Время в формате ЧЧ:ММ;СС	00:00:00	Период времени, по истечении которого предмет считается оставленным. Для ввода времени можно воспользоваться элементом Календарь, для этого нажмите на кнопку  и используйте стрелки вверх/вниз.
   Кэш	–	–	Накопленный кэш оставленных предметов в кадре. Для очистки кэша нажмите сбросить.
   Дополнительные параметры			Только для модуля алгоритмической аналитики. Если дополнительные параметры не настроены, их значения выбираются автоматически в зависимости от основных параметров (чувствительность и т.д.).
   Максимальное пиксельное расстояние	От 0 до 255	16	Верхняя граница квадрата расстояния Махаланобиса между пикселем и моделью фона, определяющая, насколько данный пиксель соответствует модели.
   Глубина истории модели фона	500 — 5000	500	500 соответствует чувствительности 100%.
   Детектировать тени	Да/Нет, логическое поле	Нет	Если установлено Да, алгоритм будет определять тени и помечать их, что немного снижает скорость работы алгоритма. Если данная функция не требуется, оставьте значение по-умолчанию (Нет).
   Скорость построения модели фона	-1, 0, 1	-1	Значение в диапазоне [-1, 1]. 1 означает перестройку модели фона на каждый кадр, 0 означает, что модель фона не изменяется вовсе. При указании отрицательного значения выбор оптимальной скорости алгоритмом происходит автоматически.

2. Если сцена камеры содержит области, которые не требуется анализировать (глухие стены, «внешняя» территория и проч), задайте область интереса.

   Для охранной аналитики возможно настроить одну или несколько предполагаемых областей интереса в кадре. С точки зрения видеоанализа это значит, что в подаваемом на вход кадре зануляются все пиксели вне этих областей.
   

   ВНИМАНИЕ: в случае использования нейросетевого модуля аналитики настройки данной вкладки игнорируются.

    Раскрыть | Настройка области интереса…

   • На вкладке Область интереса нажмите на кнопку  для добавления области.

   • Измените положение, размеры и форму области. 

   • При необходимости добавьте ещё одну область.

   Область представляет собой один или несколько многоугольников произвольной формы. Количество вершин не ограничивается.

   

   1. Вершина многоугольника: потяните за вершину многоугольника, чтобы изменить её положение.

   2. Промежуточная точка: нажмите для добавления новой вершины. Между двумя соседними вершинами всегда расположена кнопка добавления еще одной вершины.

   3. Тело многоугольника: нажмите, чтобы выделить для перемещения и удаления. Чтобы удалить выделенную область нажмите на кнопку . 

   

3. Задайте перспективу сцены. В зависимости от площади территории в области видимости камеры, размеры объектов могут существенно отличаться. Необходимо указать размеры объектов на переднем плане (отдельно слева и справа) и на дальнем плане. 

   Настройки вкладки применяются только в случае использования алгоритмического модуля охранной видеоаналитики. 

   Если детектированный объект меньше минимального, он будет отброшен. Это позволяет бороться с незначительными возмущениями вроде снега. Но если он больше максимального— он не будет отброшен, а будет разбит на несколько: это сугубо подсказка для сегментации при определении размеров группы следов. Например, при настройке под «человека» грузовик будет детектирован, как несколько объектов, каждый примерно с «человека», и наоборот.

   Есть возможность настройки разной перспективы для обычных объектов и для оставленных предметов.

    Раскрыть | Калибровка сцены

   Задайте размеры людей/транспорта и предметов (в пределах от… и до…) в трех точках кадра. Размеры в каждой точке определяются двумя прямоугольниками, указывающими пропорции объекта.

   На вкладке Калибровка сцены нажмите на кнопку  чтобы задать размеры людей/транспорта для выполнения функций охранной аналитики, либо нажмите на кнопку  чтобы задать размеры предполагаемых оставленных предметов. Отобразится шесть прямоугольников

   • Измените размеры и форму прямоугольников путем перетаскивания левого верхнего угла прямоугольника. 

   • При необходимости, переместите прямоугольники, захватив за «тело».

   • Для сброса настроек используйте кнопку .

   

   На примере ниже показана перспектива сцены. Объекты в правой части ближе, поэтому прямоугольник самый большой. По мере перехода в левую часть, так как дорожка удаляется, объект уменьшается , поэтому прямоугольник меньше, на заднем плане интересующие объекты ещё мельче, поэтому прямоугольник самый маленький.

   

   В зависимости от сцены параметры будут сильно отличаться. Рекомендуется перед настройкой сцены просмотреть видео с интересующими объектами, чтобы понять их фактические размеры.

4. Настройте правила охранной аналитики, для этого выберите тип правила, нанесите его на изображение и задайте параметры правила.

   Для добавления правила нажмите на кнопку правила и нанесите фигуру на изображение камеры. Будет сформирован блок правила.
   

   1. Удаление правила: чтобы удалить правило нажмите на кнопку  в заголовке блока.

   2. Выделение правила: чтобы изменить форму и положение фигуры, нажмите в области заголовка блока и перетащите требуемые точки.

   1. Правило пересечения линии , в том числе, – в заданном направлении.

       Раскрыть | Настройка правила пересечения линии

      • Нажмите на кнопку , чтобы добавить правило пересечения линии.
      • Постройте линию на изображении, для этого укажите положение её вершин. Для завершения нажмите на последнюю точку.
        
      • Настройте параметры правила.

      Параметр	Диапазон значений	Значение по умолчанию	Примечание
      Пересечение линии
      Направление пересечения барьера	Любое от В к А от А к В	любое	Если задано любое, то срабатывание правила вызовет пересечение линии в любом направлении. Если задано направление, то срабатывание правила будет вызывать движение в заданном направлении.

   2. Правило нахождения в области , в том числе , – поиск объектов вне области.

       Раскрыть | Настройка правила нахождения в области

      • Нажмите на кнопку , чтобы добавить правило нахождения в области.
      • Постройте многоугольник на изображении, для этого укажите положение его вершин. Для завершения нажмите на последнюю точку. Между двумя соседними вершинами всегда расположена кнопка добавления еще одной вершины.
        
      • Настройте параметры правила.

      Параметр	Диапазон значений	Значение по умолчанию	Примечание
      Нахождение в области
      Срабатывание правила	в области вне области	в области	Если задано в области, то срабатывание правила вызовет появление объекта в области и исчезновение объекта из области. Если задано вне области, то срабатывание правила вызовет появление объекта вне области и исчезновение объекта извне области. Сообщения вида «Объект вошёл в область», «Объект покинул область».
      Нахождение в области по времени	Да/Нет, логическое поле	Нет	Если задано Да, при длительном нахождении объекта в области срабатывание правила будет периодически повторяться, сообщение «Объект продолжает оставаться в области».
      Порог срабатывания	Период времени в секундах	3 сек.	При нахождении объекта в области более указанного времени, генерируется повторное срабатывание правила.
      Извещать периодически	Да/Нет, логическое поле	Нет	Если задано Да, извещения о срабатывании правила будут повторяться с заданной периодичностью до исчезновения объекта из области.
      Периодичность извещений	Период времени в секундах	1 сек.	Период повтора извещений при длительном нахождении объекта в области.

   3. Правило подсчёта объектов, пересекающих барьер .

       Раскрыть | Настройка правила подсчёта объектов, пересекающих барьер

      • Нажмите на кнопку , чтобы добавить правило подсчёта объектов, пересекающих барьер.
      • Постройте линию на изображении, для этого укажите положение её вершин. Для завершения нажмите на последнюю точку.
        
      • Настройте параметры правила.

      Параметр	Диапазон значений	Значение по умолчанию	Примечание
      Подсчёт объектов, пересёкших барьер
      Направление пересечения барьера	Любое от В к А от А к В	любое	Если задано любое, то срабатывание правила вызовет пересечение линии в любом направлении. Если задано направление, то срабатывание правила будет вызывать движение в заданном направлении.
      Время срабатывания	Период времени в секундах	5 сек.
      Время сброса	Период времени в секундах	60 сек.

   4. Правило детекции движения в противоположном направлении .

       Раскрыть | Настройка детекции движения в инверсном направлении

      • Нажмите на кнопку , чтобы добавить правило движения в противоположном направлении.
      • Постройте линию на изображении, для этого укажите положение её вершин. Запрещенное направление всегда от А к В. Для изменения направления перетащите точки прямой.

Детектор лиц 

Для запуска детектора лиц установите флаг в соответствующем поле, задайте параметры.

Сервисная аналитика

Для запуска сервисного видеоанализа установите флаг в соответствующем поле, задайте общую чувствительность и выберите требуемые функции. 

Отображение метаданных видеоаналитики

Платформа НЕЙРОСС обеспечивает наложение результатов работы видеоаналитики («метаданных») при выводе «живого» видео, а также при записи в архив, экспорте и импорте видеоархива. При этом рамки видеоаналитики сохраняют правильные пропорции при переключении профилей с разным соотношением сторон (например, 4*3 → 16*9). Наложение метаданных при ручном или автоматическом переключении между профилями камеры с меньшего на больший и наоборот при раскрытии видео на весь экран и обратного переключения на мультиэкран, осуществляется автоматически. Однако при изменении анализируемого профиля требуется перезагрузка Платформы НЕЙРОСС для переинициализации медиасервера.

[«Наложение» метаданных видеоналитики на видеопоток]