«Яндекс» запустил технологию создания видео при помощи нейросети — «Шедеврум» генерирует короткие ролики на основе текстового описания
Как сообщает пресс-служба «Яндекса», видеоролики могут стать основой для музыкальных клипов, анимации или динамических аватарок в соцсетях. «Шедеврум» умеет генерировать видео длиной четыре секунды с частотой 24 кадра в секунду. После публикации ими можно делиться с друзьями или сохранить в формате MP4. Генерация видео пока работает в тестовом режиме — она доступна активным пользователям «Шедеврума», а посмотреть результаты в ленте приложения могут все.
Чтобы сгенерировать видеоролик, нужно ввести его текстовое описание. В ответ приложение предложит четыре варианта первого кадра и набор анимационных эффектов для создания движения. Нейросеть берет за основу выбранное изображение, генерирует набор его измененных версий и объединяет все с учетом выбранного эффекта.
Пока их семь: зум, таймлапс, полет, панорама, вращение, подъем и морфинг. Для создания кадров применяется метод каскадной диффузии — нейросеть создает картинки в соответствии с запросом, а затем поэтапно увеличивает их разрешение, насыщая деталями. Генерация видео дополняет другие возможности «Шедеврума» — создание изображений и текстовых постов с заголовком и иллюстрацией.
Здесь мы тестируем нейросети для генерации изображений:
Unsplash
