Google Research объявила о создании Lumiere, новаторского инструмента для преобразования текста в видео, основанного на искусственном интеллекте. Этот проект, описанный в статье на arXiv, представляет собой значительный шаг вперед в области визуализации текстовой информации.
Lumiere предлагает пользователю уникальный опыт: вводя простые текстовые команды, такие как "кот играет с мячом", можно мгновенно получить детализированное видео, иллюстрирующее эту сцену. Технология использует сложную архитектуру ИИ, названную "революционной архитектурой пространства-времени U-Net", для создания реалистичных и выразительных видеороликов.
Кроме того, Lumiere обладает расширенными функциями редактирования и стилизации. Пользователи могут изменять элементы существующих видеороликов, например, меняя цвет одежды персонажей или добавляя новые объекты в сцену. Также предусмотрена возможность стилизации видео, что позволяет создавать видеоролики в различных художественных стилях.
Google не раскрыла деталей о планах по коммерциализации Lumiere, что может быть связано с потенциальными сложностями, касающимися авторских прав и этических аспектов использования подобной технологии. Однако этот проект уже вызывает большой интерес в сфере мультимедиа и искусственного интеллекта.