Тестируем новую версию бесплатной русскоязычной нейросети Kandinsky. Генерация "видео", возможности и ограничения

Российские разработчики ИИ постоянно совершенствуют и дополняют свою нейросеть Kandinsky для создания изображений по запросам пользователей (я, например, пробовал работать на версиях 2.0, 2.1, 2.2).

В этой статье проверим версию Kandinsky 3.0 в новом заявленном качестве - создание видео. Интересно, что новая версия интегрирует в одной начальной оболочке доработанные инструменты по созданию изображений с новыми инструментами по созданию анимации и видео.

Как войти в нейросеть и задать режим создания видео

Для запуска новой версии интернет-ресурса Kandinsky 3.0 нужно кликнуть мышкой здесь.

Рис.1. Начальный экран Kandinsky 3.0

Поскольку в этой статье мы проверяем возможности генерации видео, то кликаем на кнопку "Kandinsky Video". Прочитаем общие характеристики видео и идем далее.

Рис.2. Окно для перехода на генерацию видео

Примечание: в статье будут демонстрироваться отдельные скриншоты сгенерированных видео. Обращается внимание на возможности и ограничения по генерации видео на сегодня 21.03.2024 (напомню, что нейросеть постоянно развивается).

Нам предлагается два инструмента для генерации. Мы рассмотрим генерацию на ПК в редакторе Fusion Brain - перейдем далее по кнопке "Fusion Brain" (Рис.2).

Если вы зашли первый раз, то вам будет предложено зарегистрироваться на Fusion Brain (ввести почтовый адрес, пару раз пароль, а потом подтвердить в письме, пришедшем на почту, свою регистрацию).

Если вы уже были зарегистрированы, то в открывшемся экране нажимаем кнопку в верхней части экрана "Начать" (рядом кнопка смены языка "Английский-Русский"):

Или кнопку "Открыть редактор"в нижней части экрана:

Переходим на общий рабочий стол Fusion Brain для создания изображений, видео или анимации (скриншот ниже на Рис.3):

Рис.3. Рабочий стол и настройка для генерации видео

Порядок настройки и создания запросов для генерации видео на рабочим столе (Рис.3) по пунктам:

1. Выбрать кнопку "Видео" (1).
2. По кнопке "Модель" выбрать "Видео" (2).
3. По кнопке "Размер" выбрать размер изображения, например 16:9 (3).
4. В результате получим экран для генерации выбранного размера (4).
5. В окне задания на генерацию (запроса для нейросети) ввести текст того, что хотим получить. По умолчанию здесь написан пример (5).
6. Для запуска генерации видео нажать кнопку "Создать видео" (6).

Тестирование создания видео по запросам

Пару дней назад я снял на телефон небольшое видео, где в весенней луже купается пара голубей. Возникла мысль, а почему бы не потестировать нейросеть на эту тему и сравнить с реальностью? Давайте вместе со мной так и сделаем!

Рис.4. Скрин с реального видео

Будем вводить запросы для генерации видео в поле 5 (Рис.3).

Запрос 1: Тротуар у дома, лужа на тротуаре, солнечный теплый день, тает снег, в луже купаются два голубя, высокое качество 4K.

Видео формируется в пределах 4-х минут. По окончанию оно показывается в экране генерации (Рис.3, пункт 4). Видео можно просматривать на рабочем столе.  Для скачивания на ПК нажать кнопку "Скачать"

в правом углу рабочего стола. Результат запроса 1 показан на Рис.5.

Рис. 5. Результат по запросу 1

Неплохо, однако! Выходной файл с видео длиной 7 секунд сформирован в стандартном формате MP4, размер 692 КБ

Запрос 2: Повторяю то же самое без изменения текста запроса. Результат на Рис.6.

Рис. 6. Результат повторного запроса 1

Второй голубь пропал, точнее его образ за пару секунд пролетел, а рядом появился почему-то третий.  Как видим, при повторных запросах с тем же текстом нейросеть выдает разные результаты на заданную тематику.

Запрос 3: То же самое, но только изменил в конце фразы 4K на 8K. Результат на Рис.7.

Рис.7. Текст запроса тот же, только изменение в конце 4K на 8K

Здесь уже целых три голубя вместо заявленных 2-х, голуби не в луже и снег почти растаял, так мы не договаривались😊 . Размер файла увеличился в 2 раза, стал 1,33 МБ.

Запрос 4, уточним текст: Тротуар у дома, лужа на тротуаре, солнечный теплый день, тает снег, в центре лужи купаются только два голубя, высокое качество 8K. Результат на Рис.8.

Рис.8. Результат уточненного запроса 4

Выводы по тестированию на сегодня

1. Понятия в запросе-задании  вводятся через запятую в порядке их важности.
2. Природа и статическое окружение генерируется довольно реально, но подвижные живые существа пока неважно.
3. Нейросеть иногда ошибается при простом подсчете объектов.
4. Результаты для одного и того же текстового запроса носят вероятностный характер на заданную тему. Поэтому, если результат не нравится, то можно повторять и сохранять только наиболее подходящие варианты.
5. Пока длительность видео очень маленькая. Можно будет попытаться использовать результаты генерации при монтаже своих видео в качестве фонов, заставок, отдельных уникальных футажей - библиотека на будущее. Или, например, при монтаже для своего видео ставить в редакторе сгенерированное нейросетью видео несколько раз, если потребуется.

В целом, генерации видео с помощью нейросети представляет интерес. Можете сами попробовать посоздавать для себя что-нибудь необычное, поиграв разными вариантами текстовых запросов. Напишите, что у вас получилось!

Как говорится, прогресс не стоит на месте. Не сомневаюсь, что это направление также будет совершенствоваться в последующих доработках рассмотренной выше нейросети.