Видео, созданное искусственным интеллектом, развивается с головокружительной скоростью, и новая необычная модель Lumiere от Google снова меняет представление о нейросетях.
Lumiere может создавать удивительно реалистичные или высококачественные сюрреалистичные видеоклипы длиной до пяти секунд. Она может анимировать неподвижные изображения или их фрагменты в ответ на текстовые подсказки на естественном языке о том, что вы хотели бы увидеть.
Она может взять изображение, клонировать его стиль, а затем использовать его для создания множества видеороликов на другие темы, которые выглядят и ощущаются настолько похожими, что могли бы быть сделаны брендинговым агентством.
Lumiere может взять ваше собственное исходное видео и превратить всё в Lego, или оригами, или цветы – вам нужно только об этом попросить.
Если верить демонстрационным роликам, Lumiere обладает самыми продвинутыми возможностями по созданию видео, которые мы когда-либо видели. Вы можете просто закрасить часть изображения, которая вам не нравится, а Lumiere автоматически заполнит эту область так качественно, что вы, скорее всего, даже не заметите этого. Конечно, если не будете специально присматриваться. Бывший парень в вашем любимом видео? Не надолго.
Команда исследователей утверждает, что архитектура Lumiere генерирует всю длину видео сразу, за один проход – в отличие от предыдущих моделей, которые часто создавали начальный и конечный кадры, а затем пытались угадать, что произойдет между ними.
Как бы это ни было сделано, результаты говорят сами за себя – это новый уровень искусства в генеративном ИИ-видео, он откровенно впечатляет.
Пока это всего лишь исследовательский проект, который избавляет Google от необходимости агрессивно кастрировать систему в угоду авторским правам, фейкам, безопасности, языку ненависти, наготе, конфиденциальности и прочим политикам – процесс, который неизменно приводит к снижению качества результатов в таких генеративных моделях.
Но это всё равно огромный скачок вперёд, и будет интересно посмотреть, насколько хорошо Lumiere работает, если и когда мы получим нейросеть в свои руки.
Больше интересных и крутых примеров можно посмотреть на официальной GitHub-страничке проекта.
Ещё по теме: