![Нейросеть Google Lumiere создаёт реалистичные ролики из текста [ВИДЕО]](https://avatars.dzeninfra.ru/get-zen_doc/271828/pub_65b740cb3e9410050a0b6411_65b740d63e9410050a0b6a6c/scale_1200)
Google представила ИИ-модель Lumiere для генерации видео из текста и изображений. Компания опробовала новый метод «оживления» статичных картинок, который отличается от представленных в других нейросетях способов. Судя по опубликованным примерам, эксперимент оказался весьма удачным.
Алгоритмы Lumiere основаны на методе генерации всего видео за один проход, тогда как остальные нейросети сначала создают ключевые кадры, после чего связывают их в ролик. Новый метод получил название Space-Time U-Net. По заявлению компании, его главное преимущество — согласованность всех кадров, которая делает видеоряд более естественным.
Lumiere умеет создавать видео по текстовому запросу, менять выбранные фрагменты ролика, выборочно редактировать элементы в кадре, достраивать удалённый фрагмент изображения, а также анимировать не всю картинку, а только её часть.
Нейросеть разработана подразделением Google Research, ответственным за научные исследования. Сейчас это лишь демонстрация технологии, но не исключён и скорый релиз готового продукта на основе фирменной нейросети. Обучающий датасет Lumiere насчитывает 30 млн пар роликов и их описаний, а итоговое видео в 16 fps длится пять секунд.
Больше примеров можно посмотреть на демонстрационном сайте Lumiere.