Американские исследователи научили нейросеть распознавать фотографии, модифицированные в графических редакторах. В частности, нейросеть умеет распознавать качественно выполненное удаление объектов и клонирование, а также совмещение изображений с разных снимков. Доклад был представлен на конференции CVPR, сообщает The Verge.
С развитием социальных сетей СМИ все чаще стали использовать фотографии и видеоматериалы, снятые рядовыми пользователями, а иногда даже просто «картинки из интернета» неизвестного авторства. При этом такие изображения вполне могут оказаться отредактированными, что не слишком существенно, например, для смешных картинок или при устранении косметических дефектов на портретах, но может оказаться критичным для средств массовой информации — качественно выполненные фейки могут ввести в заблуждение даже специалистов.
Ещё один пример
Алгоритм обучали на базе данных, состоящей из изображений пар лиц, — до и после использования инструмента фоторедактора. В ходе эксперимента на вопрос, какие снимки подверглись редактированию, добровольцы давали верный ответ в 53% случаев, в то время как нейросеть не ошибалась в 99% случаев.
Разработчики из Adobe и Мэрилендского университета в Колледж-Парке предложили бороться с фейками с помощью нейросети, которая будет определять три популярных операции, используемые при существенном изменении содержимого на фотографии: удаление объектов, клонирование участков изображения, а также совмещение изображений с разных снимков. Для этого разработчики выбрали быструю региональную сверточную (Faster R-CNN).
Ранее Adobe уже применяла ИИ для распознавания изображений, обработанных в редакторе. Это первая работа, в которой команда сосредоточились на изменении лиц. Компания собирается продолжить исследования в данном направлении.
