Программисты из Калифорнийского университета в Риверсайде разработали новый метод поиска поддельных видео. Их способ делит задачу на два компонента, которые решаются при помощи обученной нейронной сети.
Первая ветвь различает выражения лица (эмоцию) и передает информацию об областях, формирующих это выражение, во вторую ветвь — кодер-декодер. Архитектура кодер-декодер отвечает за обнаружение и локализацию манипуляций. Это не только обнаруживает вмешательства в «картинку», но и определяет области, которые были исправлены.
«Глубокое обучение использует характерные черты, выявленные системами распознавания лиц, для повышения эффективности поиска изменений», — отмечает Газал Мазахери, руководитель проекта.
Исследователи использовали для оценки эффективности своей модели два набора видео, в одном из которых изменениям подверглись только эмоции, в другом — поменяли действующего персонажа. В процессе тестирования система обнаружила 99% поддельных видео.