«Яндекс» обновил нейросеть «Шедеврум», и теперь она может создавать видео.
Чтобы сгенерировать видео, пользователю необходимо отправить текстовый запрос с описанием содержания ролика.
Нейросеть предложит четыре варианта первого кадра и набор анимационных эффектов для создания.
После этого «Шедеврум» сгенерирует серию измененных версий выбранного изображения и объединит их с анимационным эффектом.
Сгенерированный контент можно использовать для реализации различных идей — от анимационных роликов до динамических аватарок для соцсетей.
Видео генерируются с помощью метода каскадной диффузии.
Сначала нейросеть создает картинки в соответствии с запросом, а затем поэтапно увеличивает их разрешение, насыщая деталями.
Нейросеть генерирует видео с частотой 24fps и хронометражем 4 с. Видео можно поделиться с друзьями или сохранить в формате MP4.
Сейчас функция работает в режиме тестирования и доступна только активным пользователям «Шедеврума». Однако сгенерированные видео могут увидеть все пользователи в ленте.
Источник