Состоялся масштабный релиз Frigate 0.17.0 — одного из самых популярных решений для умного видеонаблюдения. Это обновление кардинально расширяет возможности локальной аналитики благодаря интеграции генеративного ИИ (GenAI), поддержке нейронных сопроцессоров (NPU) и функции обучения собственных моделей классификации объектов. Помимо мощной «подкапотной» части, разработчики серьезно обновили веб-интерфейс, наконец-то добавив долгожданную настройку камер и параметров системы прямо из браузера без необходимости править конфигурационные файлы вручную.
Основные изменения в версии 0.17.0
Критические изменения (Breaking Changes)
В этом релизе есть несколько критических изменений. Frigate попытается обновить конфигурацию автоматически, но в некоторых случаях может потребоваться ручное вмешательство. Перед обновлением всегда рекомендуется сделать резервную копию текущего конфига и базы данных (скопируйте конфиг в другое место, остановите Frigate и сделайте копию файла frigate.db).
- GenAI теперь поддерживает ревью и описания объектов. В результате глобальный конфиг genai теперь отвечает только за настройку провайдера. Остальные поля перемещены в раздел objects -> genai.
- Хранение записей теперь полностью разделено по уровням. Это означает, что настройки record -> continuous и record -> motion теперь являются отдельными полями конфигурации.
- Обновлены некоторые модели распознавания номеров (LPR). Большинству пользователей следует вручную переключиться на модель small, которая отлично работает как на CPU, так и на GPU. Модель large осталась такой же, как в версии 0.16, и уступает новой small в точности. Используйте large только если в вашем регионе многострочные номера и модель small с ними не справляется.
- Параметр strftime_fmt был объявлен устаревшим в 0.16, и теперь его нужно полностью удалить из конфигурации. Форматирование даты и времени теперь зависит от языка, выбранного в интерфейсе.
- Изменена логика автоопределения разрешения камеры. Некоторые камеры неправильно передают свое разрешение, и раньше использовалось значение по умолчанию, которое не всегда было верным. Если Frigate зависает при запуске, вам может потребоваться явно задать width и height для detect в настройках камеры.
- Источники exec, expr и echo для go2rtc теперь отключены по умолчанию для снижения рисков безопасности. Их можно включить с помощью переменной окружения GO2RTC_ALLOW_ARBITRARY_EXEC.
- GPU серии Nvidia GTX 900 больше не поддерживаются из-за обновлений ONNX Runtime.
Новые функции
Frigate 0.17 представляет несколько крупных нововведений.
Обучение моделей классификации
Frigate 0.17 поддерживает два типа моделей классификации: классификация состояний (state) и классификация объектов (object). Эти модели обучаются локально на вашем оборудовании с использованием ImageNet через MobileNetV2.
Классификация состояний позволяет выбрать определенную зону камеры с несколькими возможными состояниями и обучить систему на изображениях, демонстрирующих эти состояния. Например, можно создать модель, которая будет определять, открыты ворота или закрыты.
Классификация объектов позволяет выбрать тип объекта (например, dog) и классифицировать конкретных собак. Вы можете обучить модель узнавать вашу собаку по кличке Фидо и присваивать ей подметку, игнорируя при этом чужих собак. Другой пример — определение того, носит ли человек на стройплощадке каску.
Пользовательские роли для просмотра
В Frigate 0.17 появилась возможность создавать дополнительные роли пользователей для ограничения доступа к определенным камерам. Пользователи с ролью admin могут создавать уникальные роли через интерфейс и назначать им камеры. Пользователи с новой ролью получат ограниченный доступ к API и интерфейсу (Live, History, Explore, Exports) только для разрешенных камер.
Сводка по событиям с помощью GenAI
Frigate 0.17 поддерживает использование генеративного ИИ для создания сводок по событиям. В отличие от простых описаний объектов, сводки имеют структурированный формат: ИИ генерирует заголовок, описание и классифицирует активность как опасную, подозрительную или нормальную. Эта информация автоматически отображается в UI.
Триггеры семантического поиска
Триггеры используют семантический поиск для автоматизации действий, когда отслеживаемый объект совпадает с заданным изображением или описанием с учетом порога сходства. Настроить триггеры можно для каждой отдельной камеры прямо в интерфейсе Frigate.
Улучшения детектора объектов
Nvidia GPU
Улучшена поддержка графических процессоров Nvidia за счет внедрения CUDA Graphs. Это снижает нагрузку на CPU при каждом инференсе, что приводит к ускорению работы. Примечание: модели YOLO-NAS, семантический поиск и распознавание номеров (LPR) не ускоряются через CUDA Graphs, но продолжат работать на GPU как раньше.
Intel OpenVINO
Добавлена поддержка запуска моделей на Intel NPU. Во многих случаях производительность на NPU сопоставима с GPU, но более энергоэффективна. В OpenVINO также внесено множество оптимизаций для снижения использования памяти и процессора.
RKNN
- Автоматическая конвертация моделей: автоматическое преобразование ONNX моделей в формат RKNN при запуске.
- Ускорение обогащения данных: запуск моделей семантического поиска и распознавания лиц на NPU.
Apple Silicon
Добавлена поддержка инференса на NPU Apple Silicon с помощью специального прокси, что обеспечивает быструю и эффективную работу детектора на устройствах Apple.
YOLOv9 на Google Coral
Добавлена поддержка квантованной версии YOLOv9 на устройствах Coral, что повышает точность по сравнению с моделью mobiledet. (Включено подмножество объектов COCO).
Новые детекторы от сообщества
- MemryX: Поддержка модулей M.2 MX3.
- Degirum SDK: Прокси для инференса различных моделей.
- Synaptics: Поддержка NPU SL1680.
Улучшения пользовательского интерфейса (фронтенда)
Детальный поток (Detail Stream)
В истории появился новый режим просмотра — Detail. В нем отображаются карточки для каждого события, при раскрытии которых видны все отслеживаемые объекты и их жизненный цикл. Выбор любого события перемещает видео на точную временную метку. Также можно наложить траекторию движения объекта прямо на видео.
Обновленная панель деталей отслеживаемого объекта
Панель в разделе Explore была переработана для более логичной компоновки информации. Вкладка Object Lifecycle переименована в Tracking Details и теперь показывает видео-оверлеи объекта вместо статических изображений.
Обновленные настройки (Revamped Settings)
Меню настроек было полностью переработано: добавлена боковая панель с категориями. Это закладывает базу для будущей реализации полной настройки конфигурации исключительно через UI.
Примечание: Режим отладки (Debug view) теперь доступен не в глобальных настройках, а в меню конкретной камеры на экране Live.
Мастер добавления камеры (Add Camera Wizard)
Теперь добавлять камеры можно прямо через интерфейс без ручного редактирования файла конфигурации.
Обновление без перезапуска
Многие параметры (камеры, зоны и маски) теперь применяются «на лету» при сохранении через UI, без необходимости перезагружать Frigate.
Безопасный режим конфигурации (Safe Mode)
При обнаружении неверной конфигурации Frigate переходит в безопасный режим и подсвечивает место ошибки. Интерфейс при этом ограничивается редактором конфигурации, чтобы вы могли быстро исправить проблему.
Прочие улучшения фронтенда
- Индикатор отсутствия записей: На таймлайне теперь четко виден пустой фон в тех местах, где записей нет.
- Кликабельный вид Birdseye: Клик по камере в режиме Birdseye теперь переносит вас в индивидуальный Live-просмотр этой камеры.
- Траектории объектов: Режим отладки теперь может отображать пути движения объектов.
- Отладка аудио: Добавлена вкладка Audio для мониторинга уровней dbFS и RMS с микрофона камеры.
Другие функции и улучшения бэкенда
Транскрипция и анализ аудио
Frigate 0.17 поддерживает полностью локальную транскрипцию аудио с использованием sherpa-onnx или faster-whisper. Доступна «живая» транскрипция в режиме Live, а также перевод и транскрипция событий speech в разделе Explore.
Улучшения процессов и эффективности
Frigate теперь использует метод forkserver, что обеспечивает лучший контроль памяти и управление процессами. Некоторые процессы запускаются с пониженным приоритетом, чтобы не забирать процессорное время у критических задач.
Улучшения работы с событиями (Review Items)
- Отслеживание стационарных объектов: Использование истории позиций и эвристики изображений для снижения ложных срабатываний.
- Умная обработка объектов в зонах: Поведение системы стало динамическим. Например, остановившиеся автомобили не будут бесконечно держать событие активным, тогда как люди в кадре — будут.
- Отсечение событий по уровню важности: Обычное событие завершается, если начинается более важное событие (например, alert о прибытии домой).
Обогащение данных
- В систему LPR добавлена конфигурация нормализации (позволяет убирать символы вроде - или пробелов для более точного сравнения номеров).
- LPR теперь использует новые модели PaddleOCR с поддержкой китайских иероглифов.
- Любое обогащение данных теперь можно привязать к конкретному устройству через параметр device.
Прочие улучшения
- Поддержка IPv6 (переключатель в конфиге networking -> ipv6 -> enabled).
- Поддержка сопоставления ролей Frigate с произвольными значениями в заголовках прокси-серверов.
- Выделенный MQTT-топик для статуса работоспособности камеры.
- Улучшена поддержка go2rtc для HomeKit (конфигурация сохраняется автоматически).
- Более строгая политика паролей (минимальная длина, спецсимволы).
- Возможность динамически переключать GenAI для отдельной камеры через MQTT.