Группа американских разработчиков создала алгоритм, позволяющий «оживлять» фигуры людей на двумерных изображениях. Для этого алгоритм создает трехмерную модель изображенного человека или фигуры, а затем воспроизводит ее анимацию. На практике это выглядит так, как будто изображенный человек или фигура выходит или выбегает из изображения. Разработанный алгоритм описан в статье, опубликованной на сайте arXiv.org.
При просмотре той или иной фотографии мы можем представить, как могли бы двигаться объекты, изображенные на ней, сразу после того, как была сделана эта фотография. Для компьютера рассчитать такую вероятность пока достаточно сложно. Работа в этом направлении ведется, но возможности существующих алгоритмов пока достаточно скромны.
Судя по всему, дальше всех продвинулись специалисты из Вашингтонского университета и Facebook. Они создали алгоритм, который создает на основе одного двумерного кадра полноценную анимацию объекта. Выглядит это так:
Система заимствует возможности нескольких разработанных ранее алгоритмов, а также использует собственный код. Сначала она сканирует изображение и обрабатывает его с помощью нейросети Mask R-CNN. На этом этапе программа определяет на изображении область с человеком и отделяет ее от фона. Следом вступает в работу другой алгоритм. Он создает из области изображения с человеком двумерную базовую модель его скелета. Еще один алгоритм используется для создания реалистичного фона в областях кадра, изначально закрытых фигурой человека на изображении.
На основе двумерной модели алгоритм создает трехмерную, а затем накладывает на нее текстуру, воссозданную на основе изображения человека из исходного кадра. В результате получается модель, способна совершать произвольные движения, например, выбегать из кадра. Система также позволяет вручную подкорректировать положение частей тела модели, перед тем как анимировать ее.
Кроме того, разработчики создали несколько режимов работы нового алгоритма. Один может использоваться для создания анимации изображения на обычном мониторе. Другой работает с технологией дополненной реальности. Во втором случае, в качестве примера, было продемонстрировано как алгоритм анимирует обычную картину в музее и превращает ее интерактивную.