Недавно компания Google подробно рассказала о своей работе над Imagen Video, системой искусственного интеллекта, которая может генерировать видеоклипы по текстовому описанию.
Пока результаты не идеальны — зацикленные клипы, генерируемые системой, содержат артефакты и шум. Однако компания считает, что их разработка — это шаг к системе с «высокой степенью управляемости» и знаниями о мире, включая способность генерировать клипы в самых различных стилях.
Как поясняет исследовательская группа Google, система берет текстовое описание и генерирует 16-кадровое видео с частотой три кадра в секунду и разрешением 24 на 48 пикселей. Затем система масштабирует и «предсказывает» дополнительные кадры, создавая окончательное видео из 128 кадров с частотой 24 кадра в секунду с разрешением 720p (1280×768).
Imagen Video обучался на 14 миллионах видео с текстовым описанием и 60 миллионах изображений, а также на общедоступном наборе данных изображения-текста LAION-400M. В ходе экспериментов они обнаружили, что алгоритм может создавать видеоролики в стиле картин Ван Гога и акварели. Кроме того, искусственный интеллект продемонстрировал понимание глубины и трехмерности пространства. Это позволило ему создавать видеоролики, подобные полетам дронов, которые вращаются вокруг и захватывают объекты под разными углами, не искажая их.
Важным улучшением по сравнению с доступными сегодня системами генерации изображений является то, что сервис может правильно отображать текст. В то время как Stable Diffusion и DALL-E 2 изо всех сил пытаются перевести текстовые выражения, такие как «логотип для (название бренда)», в читаемый текст, Imagen Video воспроизводит его без проблем.
Это не означает, что новый сервис не имеет ограничений. Клипы созданные с его помощью, местами искажаются и иногда смешиваются с другими довольно странными, физически невозможными и неестественными способами. Чтобы улучшить работу искусственного интеллекта, команда Imagen Video планирует объединить усилия с исследователями Phenaki, еще одной дебютировавшей системы для преобразования текста в видео, которая может превращать длинные подробные подсказки в двухминутные видеоролики, хотя и с более низким качеством.
