В октябре 2022 года компания Google представила нейросеть Imagine Video, которая способна генерировать видео высокого разрешения (1280×768 пикселей, 24 кадра в секунду) по текстовому описанию. Это уникальная технология, которая может быть использована для развития творческих и образовательных приложений, а также для улучшения качества жизни людей с ограниченными возможностями зрения.
## Как работает Imagine Video?
Imagine Video основана на каскаде моделей диффузии видео, которые последовательно увеличивают разрешение и частоту кадров сгенерированного видео. Диффузия видео – это метод генерации видео, который использует случайный шум для постепенного преобразования входных данных в желаемый выход. Модели диффузии видео обучаются на обратном процессе – то есть на превращении реального видео в шум – и затем используются для восстановления видео из шума.
Imagine Video состоит из четырех моделей диффузии видео: базовой модели, которая генерирует видео низкого разрешения (40×24 пикселей, 3 кадра в секунду) по текстовому описанию; модели временного суперразрешения (TSR), которая увеличивает частоту кадров в четыре раза; модели пространственного суперразрешения (SSR), которая увеличивает разрешение в четыре раза; и еще одной модели SSR, которая повторяет увеличение разрешения. Таким образом, итоговое видео имеет разрешение 1280×768 пикселей и 24 кадра в секунду.
Каждая модель диффузии видео использует архитектуру Video U-Net, которая состоит из сверточных слоев, слоев самовнимания и слоев обратной свертки. Video U-Net позволяет захватывать пространственную детализацию и временную динамику видео. Кроме того, Imagine Video применяет метод прогрессивной дистилляции, который ускоряет процесс генерации видео за счет использования более легких моделей с меньшим количеством параметров.
## Что может Imagine Video?
Imagine Video демонстрирует высокий уровень контролируемости и знания мира, а также способность генерировать разнообразные видео и текстовые анимации в различных художественных стилях и с пониманием 3D-объектов.
#ии #нейросеть #It #программирование #видео
