«Яндекс» обновил нейросеть «Шедеврум», и теперь она может создавать видео. Сгенерированный контент можно использовать для реализации различных идей — от анимационных роликов до динамических аватарок для соцсетей
Что происходит
- Чтобы сгенерировать видео, пользователю необходимо отправить текстовый запрос с описанием содержания ролика. Нейросеть предложит четыре варианта первого кадра и набор анимационных эффектов для создания движения. После этого «Шедеврум» сгенерирует серию измененных версий выбранного изображения и объединит их с анимационным эффектом.
- Сейчас доступны семь эффектов: зум (приближение), таймлапс (ускоренная перемотка), полет, панорама, вращение, подъем и морфинг (постепенное изменение).
- Видео генерируются с помощью метода каскадной диффузии. Сначала нейросеть создает картинки в соответствии с запросом, а затем поэтапно увеличивает их разрешение, насыщая деталями.
- Нейросеть генерирует видео с частотой 24fps и хронометражем 4 с. Видео можно поделиться с друзьями или сохранить в формате MP4.
- Сейчас функция работает в режиме тестирования и доступна только активным пользователям «Шедеврума». Однако сгенерированные видео могут увидеть все пользователи в ленте нейросети.
Что это значит
«Яндекс» представил «Шедеврум» в апреле 2023 года. Нейросеть содержит 5 млрд параметров и обучалась на 330 млн примеров пар картинок с текстовым описанием. «Шедеврум» умеет генерировать изображения в разных стилях. Однако у пользователей не получится создать контент, который содержит отсылки к конкретным людям, связан с политикой и религией, относится к категории 18+, касается жестокости и насилия. Эти ограничения были предусмотрены, «потому что «Шедеврум» не должен никого обижать или становиться генератором дипфейков».
Ранее нейросети, генерирующие видео, представили стартапы Runway AI inc. (нейросеть Gen-2) и Google Research (нейросеть Dreamix). Обе нейросети генерируют видео по текстовому запросу и редактируют уже существующие ролики.