212 подписчиков
Новый феноменальный ИИ для генерации видео
Google представила свой новый ИИ Lumiere, который предназначен для создания видео.
Основа Lumiere - "пространственно-временная архитектура U-net", которая создает структуру видео сразу на всей его продолжительности. Это отличается от традиционного подхода, когда искусственный интеллект генерирует начальные и конечные кадры, а затем пытается заполнить пространство между ними. Lumiere создает видео длительностью всего 5 секунд, но они очень реалистичные - или сюрреалистические, в зависимости от настроек.
Языковая модель Lumiere позволяет ему точно понимать текстовые инструкции пользователей. Он может анимировать статичные изображения, добавлять или удалять объекты и персонажей в видео, искать скрытые части изображений. Искусственный интеллект может скопировать стиль или сюжет исходного контента и создать на его основе множество разных версий.
Около минуты
27 января 2024