«Яндекс» обновил нейросеть для генерации картинок и текстов «Шедеврум», добавив возможность создавать короткие видео по текстовому описанию. В компании наглядно продемонстрировали возможности сервиса и рассказали, как всё это работает.
«Шедеврум» умеет генерировать видео длиной четыре секунды с частотой 24 кадра в секунду. После создания роликами можно поделиться или сохранить их в формате MP4. Сейчас функция работает в режиме тестирования. Генерация видео доступна в обновлённой версии приложения для Android и iOS активным пользователям «Шедеврума», а вот посмотреть результаты в ленте могут все без исключения.
В компании считают, что получившийся результат может стать основой для музыкальных клипов, анимаций, динамических аватарок в соцсетях и позволяет воплотить в жизнь другие креативные идеи. Чтобы сгенерировать видео, нужно просто описать текстом желаемый результат. В ответ приложение предложит четыре варианта первого кадра и набор анимационных эффектов для создания движения.
Нейросеть берёт за основу выбранное пользователем изображение, генерирует набор его изменённых версий и объединяет всё указанным эффектом. Сейчас их семь: зум (приближение), таймлапс (ускоренная перемотка), полёт, панорама, вращение, подъём и морфинг (постепенное изменение).
Для создания кадров будущего видео используется метод каскадной диффузии. С помощью этой технологии «Шедеврум» генерирует отдельные изображения. Сначала нейросеть создаёт картинки в соответствии с запросом, а затем поэтапно увеличивает их разрешение, насыщая деталями.
Генерация видео дополняет другие возможности «Шедеврума» — создание изображений и текстовых постов с заголовком и иллюстрацией. Отправить запрос на коммерческое использование полученного контента можно через форму обратной связи в приложении — ответ придёт в течение 5 рабочих дней.