Новая функциональность действует в режиме экспериментальной проверки и доступна активным авторам платформы "Шедеврум". Пользователи с ограниченными привилегиями могут ознакомиться с образцами работ через ленту приложения, осуществив предварительное обновление до последней версии.
Механизм работы выглядит следующим образом: процесс генерации контента осуществляется с применением нейронных сетей, разработанных компанией "Яндекс". Для создания видеоматериалов на платформе "Шедеврум" пользователю необходимо предоставить текстовое описание того, что он бы хотел увидеть. В ответ на это приложение предлагает четыре варианта начального кадра и набор анимационных эффектов для формирования движения. Список доступных эффектов на данный момент включает в себя семь вариантов: зум (увеличение масштаба), таймлапс (ускоренное воспроизведение), полет, панораму, вращение, подъем и морфинг (постепенные изменения).
Процесс генерации основан на выбранном пользователем исходном изображении. Нейронная сеть генерирует набор вариаций данного изображения и объединяет их с выбранным эффектом. Конечный результат представляет собой короткие видеоролики продолжительностью четыре секунды, с частотой воспроизведения 24 кадра в секунду.
Процесс формирования изображений базируется на методе каскадной диффузии, который предусматривает поэтапное создание изображений, начиная с низкого разрешения и последующим постепенным увеличением разрешения для насыщения деталями. Однако аудиоэлементы в создаваемых роликах в настоящее время не включены.
Каскадная диффузия - это метод обработки изображений, который использует пошаговое увеличение разрешения изображения для наращивания деталей. Процесс начинается с создания изображения низкого разрешения, на котором детали пока не очень различимы. Затем путем последовательных этапов увеличивается разрешение изображения, и каждый новый шаг добавляет более высокие частоты и детали, делая изображение более реалистичным и богатым текстурой. Этот метод позволяет получить изображение с высокой степенью детализации и реалистичности.
попробуем. https://shedevrum.ai/