Google представила ИИ-модель VideoPoet, способную генерировать аудио и видео на основе текстового описания. Она, как утверждают разработчики, заметно отличается от других подобных решений, и способна создавать даже длинные сюжетные ролики, а также редактировать готовые материалы.
По заявлению Google, в отличие от других подобных нейросетей, использующих метод на базе диффузии с открытым исходным кодом, её решение основано на большой языковой модели (LLM) — такие обычно используются для генерации текста и кода (например, ChatGPT или Llama 2).
Для обучения ИИ разработчики использовали 270 миллионов видео и более миллиарда пар текст/изображение, взятых из интернета и других источников. Google утверждает, что фирменная языковая модель позволяет создавать более длинные, чем у конкурентов, и при этом качественные видеоролики с минимумом артефактов и ограничений, особенно в случае с подвижными объектами.
В арсенале VideoPoet — имитация различных движений камеры, множество визуальных стилей, создание оригинального аудиоряда на основе контекста видео, а также возможность генерации вертикальных роликов в формате Snapchat и TikTok.
Исследование, проведённое Google Research, показало, что до 35% опрошенных предпочли VideoPoet решениям других компаний после сравнения результатов генерации. Сроки коммерческого запуска ИИ-модели пока не объявлены. Ознакомиться с возможностями нейросети можно на официальном сайте проекта.