Кадр из видео, сгенерированного нейросетью Runway Gen-3 Alpha.
Уходящее лето подарило пользователям сразу три новых видеогенератора, которые, в отличие от предшественников, предлагают относительно качественную картину и минимум «кипения» в кадре. Ими стали Gen-3 Alpha от Runway, китайский Kling от Kuaishou Technology и Luma Dream Machine от Luma AI.
Причём в августе все три компании решили обновить свои сервисы, добавив туда новые функции.
Gen-3 Alpha от Runway. Эта ИИ-модель вышла ещё в июне, но сходу разочаровала пользователей исключительно платным доступом и отсутствием важных возможностей.
За прошедшие пару месяцев авторы явно реагировали на критику. Прежде всего, генератор получил возможность не только создавать видео с нуля, но и генерировать видеоряд по входной картинке, которую загрузит сам пользователь. Иными словами, Gen-3 научился «оживлять» статичные картинки.
Далее Runway наконец-то дала к новинке пробный доступ, где несколько видео можно сделать бесплатно. Причём ничего не мешает пользователю создать сразу несколько аккаунтов, если генератор пришёлся ему по душе, а платить желания не возникло. Увы, пробная версия немного хуже в качестве и ограничена исключительно той самой функцией «оживления» картинок. То есть сделать видео с нуля она не может.
Ещё один пример генерации Runway Gen-3 Alpha.
При этом общее качество на фоне конкурентов весьма высоко, Gen-3 работает быстро и позволяет создавать ролики для 10 секунд. Для видеогенераторов столь низкая длительность, увы, норма. До Gen-3 стандартом и вовсе считалось ~4 секунды. Гораздо больше обещает только Sora от авторов ChatGPT, но когда выйдет эта анонсированная ещё в начале года система – никому не известно.
Наконец, буквально несколько дней назад Runway позволили использовать загружаемую картинку не только в качестве начального кадра, но и, напротив, в качестве конечного. В этом случае видео начнётся с «фантазии» нейросети и плавно придёт к загруженной пользователем картинке. В бесплатном режиме эта функция также доступна.
Китайский Kling из всех генераторов изначально был наиболее благосклонен к тем, кто ни за что не желает платить. Даже сейчас он предлагает 66 бесплатных «кредитов» ежедневно, что хватит на 6 видео в день. Однако скорость генерации на бесплатных аккаунтах упала настолько, что за результатом можно приходить уже на следующий день.
Также Kling обзавёлся рядом важных дополнительных функций, но все они доступны только за платную подписку. Это возможность создавать видео повышенного качества, увеличение длины видео с 5 до 10 секунд, опция продления уже созданного видео, продвинутые варианты управления камерой и прочее.
Кадры из генераций Kling.
Зато совсем недавно случилось пополнение и среди бесплатных функций. В частности, даже бесплатным пользователям стала доступна возможность использования ключевых кадров. Kling уже умел «оживлять» загруженные картинки, но теперь можно загрузить сразу две. В этом случае одна будет первым кадром видео, а вторая – последним.
Это даёт процессу создания ролика радикально более высокую управляемость со стороны пользователя. Иными словами, нейросеть будет меньше «выдумывать» и попытается просто связать два загруженных в неё изображения с помощью генерации множества промежуточных кадров.
К слову, в режиме «оживления» картинки продолжительность видео может составить 10 секунд. Но для ключевых кадров и для создания видео с нуля бесплатная версия ограничена 5 секундами.
Генератор Luma Dream Machine от Luma AI обновился буквально несколько дней назад, перейдя с версии 1.0 на 1.5. Авторы обещают более высокое качество видео, больше качественного движения и «жизни» в кадре, улучшенный режим по «оживлению» картинок, более высокий уровень понимания пользовательского запроса, а также понимание текста (чтобы нужный текст в красивой форме появился в созданном видео).
Последнее может пригодиться для создания анимированных логотипов или в качестве нестандартного способа донести какую-то мысль. Увы, по всей видимости, поддерживается только англоязычный текст, причём короткий.
К слову, после анонса версии 1.5 и распространения новости в профильных СМИ, разработчикам в спешке пришлось закрыть возможность генерации для бесплатных пользователей. Судя по всему, авторы не отказываются от бесплатного пробного периода для новичков, но конкретно сейчас не могут справиться с нагрузкой и отправляют всех в «список ожидания».
Кадры из генераций Luma Dream Machine.
Напомним, Dream Machine первой этим летом предложила генерации видео в непривычно высоком качестве. Главным минусом системы является ограниченность роликов всего лишь 5-ю секундами. Зато получившиеся видео можно продлевать, есть возможность «оживлять» картинки, использовать ключевые кадры, использовать только последний кадр, а также зацикливать видео.
В будущем разработчики обещают новую интерактивную систему, которая позволит ловко заменять локации, объекты или персонажей на видео, при этом сохраняя остальные элементы генерации.
Заметим, что скоро на арену генераторов видео обещает выйти ещё один сильный игрок, причём бесплатных возможностей у него может быть существенно больше остальных. Речь о команде разработчиков Black Forest Labs, которые этим летом успешно дебютировали с генератором изображений FLUX и недавно заключили «союз» с Илоном Маском. Они готовят собственный генератор видео с открытым исходным кодом и весьма высоким качеством картинки.
