Нейросети давно научились генерировать красивые картинки и даже неплохое видео по текстовому описанию. Но до недавнего времени заставить персонажа на статичном фото двигаться именно так, как вам нужно, было огромной проблемой. Персонажи «плыли», превращались в кашу или вели себя неестественно. Инструмент под названием Viggle AI изменил этот подход.
Что это такое простыми словами
Viggle AI — это специализированная нейросеть, которая берет за основу ваше изображение человека или персонажа и заставляет его двигаться по траектории из любого стороннего видео. Этот процесс называется видео-таргетингом или переносом движений.
Представьте, что у вас есть фотография вашего друга, мемного персонажа или супергероя. И у вас есть видеоролик, где профессиональный танцор исполняет брейк-данс или делает сальто. Viggle AI берет позу и динамику из видео, вырезает вашего персонажа с картинки и «натягивает» его на эти движения. На выходе получается готовый видеоролик, где ваш герой реалистично повторяет все жесты, шаги и мимику.
Как это устроено внутри
В основе сервиса лежит технология JST-1. Это первая 3D-видео-модель, которая понимает физику движений человеческого тела в пространстве. В отличие от обычных генераторов анимации, которые просто сдвигают пиксели на плоскости, Viggle AI строит невидимый цифровой скелет персонажа. Благодаря этому нейросеть понимает, где у героя находятся руки, ноги и голова, как они должны сгибаться и как меняется освещение при повороте тела.
Главные возможности инструмента
Сервис умеет выполнять несколько основных задач.
Mix. Это главная и самая популярная функция. Вы загружаете картинку с персонажем и видео с нужным движением. Нейросеть полностью переносит пластику, сохраняя пропорции тела.
Animate. Сюда можно загрузить статичное изображение и просто текстом на английском языке описать, что персонаж должен сделать. Например, помахать рукой, побежать или подпрыгнуть.
Ideate. Генерация персонажа с нуля по текстовому промту с последующей анимацией.
Stylize. Возможность изменить стиль уже готового видео, превратив реального человека в персонажа мультфильма, аниме или 3D-модель.
Где этим пользоваться
У сервиса нет мобильного приложения в привычных магазинах App Store или Google Play. Работа происходит через два основных канала.
Официальный сайт. Домен проекта — viggle.ai. На платформе доступна веб-версия, где через личный кабинет можно загружать файлы и запускать генерацию. Интерфейс минималистичный, всё управление сводится к перетаскиванию файлов в нужные окна.
Сервер в Discord. Изначально проект развивался именно там. Вы заходите на их сервер, выбираете один из каналов для генерации и вводите специальные команды, прикрепляя файлы. Это чуть менее удобно для новичков, но там можно подсмотреть идеи у других пользователей.
Кому и зачем это нужно
В первую очередь инструмент стал хитом в социальных сетях для создания вирусного контента и мемов. Блогеры анимируют фотографии знаменитостей, заставляя их танцевать современные тренды.
Маркетологи используют сервис для быстрого создания рекламных креативов без привлечения актеров и аниматоров. Можно создать одного персонажа бренда и оперативно помещать его в разные сюжеты.
Создатели контента и аниматоры применяют Viggle AI для черновых раскадровок. Это позволяет быстро примерить сложное движение на нарисованного персонажа и понять, как это будет выглядеть в динамике, экономя часы ручной работы.
Плюсы и минусы технологии
Среди сильных сторон — высокая скорость обработки, хорошая фиксация лица персонажа и то, что нейросеть отлично справляется со сложными ракурсами и поворотами на 180 градусов. Кроме того, сервис автоматически умеет отделять персонажа от фона, что упрощает дальнейший монтаж.
Из недостатков — периодические артефакты на стыке одежды и конечностей. Если исходное изображение персонажа низкого качества или со сложными мелкими деталями, нейросеть может их размыть. Также пальцы рук всё ещё остаются сложным элементом для анимации и иногда могут выглядеть неестественно.
Для старта работы на сайте viggle.ai достаточно пройти быструю регистрацию через аккаунт Google. Базовый функционал доступен бесплатно, чего вполне хватает для тестирования возможностей и создания первых роликов.