Рассмотрев в прошлой статье нейросети-художники, я решил посмотреть и нейронки, способные генерировать видео.
Первым условием отбора было то, что сеть должна была делать видео, а не анимацию из нескольких кадров. По этой причине, я не стал тестировать Шедеврум.
Вторым условие тестирования было наличие бесплатного (хотя бы на старте) режима работы.
По итогу, в списке тестирования остались 10 нейросетей: Kling, Minimax (hailuoai), Кандинский, Runway, Pixverse, Pika, Stable Video Diffusion, Vidu, Fliki, Genmo.
Для удобства сделал таблицу с кратким резюме по бесплатным режимам нейронок.
Условия эксперимента были простые. Я давал нейросетям картинку и просил ее оживить по запросу "мужчина дарит подарок девушке". Картинка, кстати, была сгенерирована в Шедевруме.
Ответы были следующими.
Kling
Minimax (hailuoai)
Кандинский
Runway
Небольшое примечание. RanWay не умеет генерировать квадратные видео. Только прямоугольные, вертикальной или горизонтальной ориентации.
PixVerse
Pika
Stable Video Diffusion
Примечание Stable Video Diffusion не поддерживает "оживление" картинки по текстовому промту-запросу, а ограничивается манипуляциями с камерой.
Vidu
Как по мне, с задачей лучше всех справились PixVerse и Kling. Неплохой результат у Vidu. Остальные - молодцы, пытались....
Отдельной категорией идут нейронки Filki и Genmo. Они "не понимают" картинок и генерируют видео по обычному текстовому запросу. Но Filki дает массу других возможностей. Задав простой текстовый запрос "мужчина делает подарок девушке", я получил и сгенерированный сценарий видео, и разбивку его на сцены, и видео, которое, можно сделать даже с озвучкой. Самое интересное, что нейросеть сразу просчитывает примерную длительность видео и дает возможность пользователю отредактировать сценарий. Пускай, в бесплатном режиме доступны лишь 5 минут генерации видео, ими тоже можно воспользоваться по разному, сделав побольше коротки роликов или поменьше длинных.
Fliki
Путь создания видеоролика в Fliki можно посмотреть в карусели ниже.
С Genmo все гораздо проще: нейросеть просто генерирует видео по запросу. Бесплатно - 1 раз в месяц. Всё
Genmo
Несмотря на то, что нейросети развиваются немыслимыми темпами, на данный момент "оживление" фотографий или создание новых видео для них не самая простая задача. Но, кто знает, что будет через некоторое время?
UPDATE. В Шедевруме запустили бета версию новой модели для генерации видео. Правда, видео можно генерировать только по текстовому запросу, как в Filki или Genmo. И качество сгенерированного видео пока хромает. Но, зато Шедеврум бесплатный и он активно развивается.
UPDATE 2. IniVideo. Нейронка - аналог Filki. Нейросеть генерирует видео по текстовому запросу. Кроме того, нейросеть сама оптимизирует запрос, составляет сценарий, готовит сцены для видео. Пользователю дается возможность редактировать как сцены, так и сценарий.
UPDATE 3. DeepAI. Нейронка-художник, упоминавшаяся в прошлой статье, DeepAI умеет и видео генерировать. Только в бесплатном режиме результаты у нее на уровне Pika. И это при том, что DeepAI может генерировать только по текстовому запросу.
UPDATE 3. LOOKY. Соцсеть со встроенной нейронкой, способной оживлять видео. Нейронка позволяет оживлять картинку запросом, поэтому взял и картинку, и запрос из первоначальных тестов. Что интересно: ограничение у нейронки LOOKY, такие же, как у Runway - она не поддерживает квадратные видео. Да и результаты двух нейронок весьма похожие. Нейронка условно-бесплатная. Каждая генерация стоит 50 внутрисетевых монеток. Я так понял, то данные монетки можно получать совершая какие-то достижения внутри соцсети.
UPDATE 4. Luna AI. Еще одна нейросеть, способная генерировать видео. Умеет "оживлять" картинки. Поэтому, не мудрствуя, взял картинку и запрос из прошлых экспериментов. Нейронка единоразово дает возможность сгенерировать три видео "на пробу", потом предлагает купить какой-либо тариф. Так же, как RunWay и LOOKY, Luna AI не принимает квадратных видео и обрезает их.
Продолжаю тестировать нейронки...