Исследователи использовали машинное обучение для создания удивительного ИИ, который создаёт жуткие видеоролики говорящих людей. Для этого машине нужен лишь один кадр. Или даже картина.
«Говорящая голова» в видеороликах повторяет движения лица реального человека, маркеры которого применяются к целевой физиономии. Как вы можете видеть в видео презентации ниже, целевая физиономия имитирует мимику и словесные сигналы источника. Так авторы оживили Эйнштейна, Сальвадора Дали и даже Мону Лизу. С помощью одной лишь фотографии.
Как дошли до такой жизни
Такое применение машинного обучения не ново. В течение нескольких лет исследователи работали над алгоритмами, которые генерируют видео, меняющие лица. Однако, для такого рода программного обеспечения требовалось много обучающих видеороликов, чтобы создать реалистичное движущееся лицо источника. Другие усилия визуализировали 3D лица из одного изображения, но не могли генерировать движения.
Специалисты по вычислительной технике в AI-центре Samsung в Москве подняли его на новый уровень. Их искусственная нейронная сеть способна генерировать лицо, которое поворачивается, говорит и может создавать выражения. И ей нужно только одно изображение человека. Исследователи называют эту технику «однократным обучением». Конечно, конечный результат выглядит явно кривоватым, но качество резко возрастёт, когда алгоритм обучится с помощью большого количества изображений или видео.
Авторы проекта использовали Generative Adversarial Networks (GAN) - архитектуры глубоких нейронных сетей, которые состоят ещё из двух сетей, соревнующихся друг с другом. По сути, каждая сеть пытается перехитрить другую, создавая видимость чего-то «реального». Этот батл помогает получать более высокий уровень реализма.
Если вы обратите внимание на выводимые лица, вы заметите, что они не идеальны. На них видны артефакты и странные ошибки. И не смотря на это, ребята проделали впечатляющую работу.
Следующий очевидный шаг - заставить Мону Лизу двигать и другими частями тела. И возможно, в скором будущем она сможет потанцевать впервые за сотни лет.