35 подписчиков
MTS AI создал видеобота, способного находить необходимые моменты и события на длительных видеозаписях по текстовому описанию.
🤖 Чтобы найти фрагмент в фильме, пользователю достаточно загрузить видеофайл и сформулировать запрос вроде «Найди сцены с желтыми такси» или «Покажи момент, когда человек входит в комнату». Бот обработает запрос за считанные секунды и предоставит найденные фрагменты. Решение уже протестировано на обширном наборе видео различной тематики. Бот находит до 80% событий на кадрах по запросу пользователя. Об этом сообщает CNews.
Решение разрабатывалось на основе нейросетевой модели CLIP, которая способна проецировать изображения и текстовые описания в единое векторное пространство. Пользовательский запрос преобразуется в вектор и сравнивается с векторами отдельных кадров видео. Далее ИИ определяет наиболее релевантные кадры и выдает итоговый результат. В то время как существующие системы либо сфокусированы на решении узких задач – поиск предметов или детекция движения, либо могут анализировать лишь небольшой фрагмент видео, видеобот от MTS AI способен искать любые визуальные сцены по их текстовому описанию на записях различной длины.
Около минуты
1 апреля 2024