В романах Джоан Роулинг о Гарри Поттере есть одна интересная особенность у магических фотографий – они похожи на обычные за исключением того, что персонажи в них анимированы: они машут, улыбаются, а иногда и вовсе исчезают, чтобы заняться другими делами. Нечто похожее и доступное обычным людям удалось создать исследователям из Вашингтонского университета в Сиэтле. Они создали программное обеспечение под названием Photo Wake-Up, позволяющее анимировать центрального персонажа на фотографии, оставляя другую часть изображения нетронутой.
Основная проблема с которой предстояло столкнуться разработчикам алгоритмов компьютерного зрения – это определить, какую позу занимает человек в трехмерной проекции. Это довольно нетривиальная задача, поскольку тело человека на фото может быть частично чем-то закрыто, или например, человек стоит со сложенными руками. Это затрудняет определение алгоритмом трехмерной структуры по двухмерному изображению.
Создание “магической фотографии” начинается с двухмерного выделения очертаний человеческого тела и накладывания трехмерного скелета на выделенную фигуру. После этого скелет можно анимировать, чтобы создать ощущение движения.
Идея создателей нового алгоритма состоит в том, чтобы спроецировать базовую сетку в форме тела в 2D-пространство, а затем ее сопоставить и выровнять с выделенной 2D-фигурой человека с помощью алгоритма деформации. Это позволяет идентифицировать определенные части тела – голову, руки, ноги и туловище и деформировать сетку таким образом, чтобы она соответствовала выделенной человеческой фигуре. После такого выравнивания в 2D-пространстве происходит преобразование в 3D. По словам разработчиков этот метод деформирования хорошо работает для обработки сложных силуэтов.
Кроме того, команда разработчиков уделяет особое внимание положению головы, на которую, как правило чаще всего обращают внимание зрители. Алгоритм идентифицирует такие особенности, как направление взгляда и угол поворота, чтобы получить точный угол для положения головы на сетке тела.
Эти автоматизированные методы хороши, но они не совершенны. Поэтому команда также разработала пользовательский интерфейс, который позволяет вручную изменять ориентацию скелета относительно тела. Это позволяет пользователям исправлять любые ошибки автоопределения положения и настраивать анимацию.
Конечный результат, как мы видим, – впечатляющая анимированная фотография. Алгоритм изолирует человеческое тело на фотографии, вырезает его из изображения, заполняя пробелы с помощью алгоритма заполнения патчей. После чего алгоритм анимирует тело в 3D, позволяя уходить из фотографии, бегать, прыгать или махать, подобно волшебным фотографиям, созданным Роулинг.
Источник: technologyreview.com
Читать: https://skytechnews.ru/kompyuternoe-zrenie-mozhet-sozdavat-fotografii-v-stile-garri-pottera/