В отличие от аналогов она способна одновременно распознавать до 10 событий, работает со средней точностью 80% и требует меньше вычислительных ресурсов, сообщили ТАСС в пресс-службе вуза. «Специалисты лаборатории компьютерных технологий ИТМО разработали алгоритм под названием ActionFormer, который с точностью 80% распознает сразу десять действий: например, может отследить, когда сотрудник производства курит или принимает пищу на рабочем месте, отвлекается и разговаривает по телефону, без спросу перемещает оборудование и заходит в помещения, где находиться запрещено. Кроме того, разработка помогает предупредить саботаж камер — когда объектив намеренно пачкают или закрывают, чтобы скрыть запрещенные действия», — говорится в сообщении.
По данным Социального фонда России, почти треть несчастных случаев на работе происходит по неосторожности сотрудников. Чтобы следить за опасными действиями используют видеонаблюдение, кадры с которого чаще всего отсматривают вручную. Автоматизировать процесс помогают нейросети, они способны непрерывно фиксировать события и выделять нужное в долгом потоке съемки. Однако модели, представленные на российском рынке для промышленного видеонаблюдения, умеют распознавать только объекты во время съемки, но не способны отслеживать действия. Распознавать их умеют открытые зарубежные модели, но пока делают это недостаточно точно.
По данным пресс-службы, разработанный в ИТМО алгоритм состоит из двух моделей, которые анализируют последовательность изображений: одна расставляет скелетные точки на изображениях людей, а другая на их основе классифицирует действия и определяет, где находятся сотрудники предприятия. Информация обо всех неправомерных или потенциально опасных действиях попадает в общую базу данных или сразу передается на интерфейс оператора. По сравнению с аналогичными решениями представленная модель легковесна, поскольку содержит относительно небольшое количество параметров (3,7 млн).
Разработку уже используют на крупном производстве в Пермском крае. Благодаря внедрению системы на предприятии удалось в три раза сократить количество физических проверок соблюдения техники безопасности и избежать ряда серьезных ошибок.
Будущее алгоритма
«В будущем мы хотим обучить модель на большем числе действий. Следующая задача — адаптировать систему распознавания действий для носимых камер. Например, ее можно будет использовать в шахтах при проведении инструктажа — отслеживать, что бригада выполняет нужные действия и соблюдает правила безопасности: например, использует СИЗы, проводит работы в соответствии с инструкцией, безопасно спускается по лестнице», — привели в пресс-службе слова руководителя проекта, научного сотрудника лаборатории компьютерных технологий ИТМО Валерии Ефимовой.
Кроме того, специалисты работают над другой версией модели, которую можно будет использовать для фиксации противоправных действий на придомовой территории в жилых комплексах. Для этого они обучили алгоритм на 150 тыс. кадров, в их числе — прием спиртного на детских площадках, разгрузка грузовых машин в неположенных местах, попытки посторонних проникнуть в подъезд дома. В перспективе специалисты планируют добавить и новые сценарии, чтобы программа могла фиксировать, например, кто ломает скамейки или вытаптывает газоны. Релиз этой версии намечен на октябрь 2025 года.