Судя по описанию на официальном сайте, на этот раз генераторов видео будет несколько, и Gen-3 Alpha – лишь первый и самый простой из них.
Однако даже в этом случае прогресс на фоне предыдущего Gen-2 выглядит значительным. На своей анонсирующей записи в блоге авторы разместили десятки примеров роликов в качестве демонстрации возможностей новой модели. В Runway уверяют, что не применяли никакого редактирования к получившимся видео, и всё выложено именно так, как было сгенерировано.
Новая нейросеть демонстрирует серьёзный прогресс в качестве картинки. Она стала разительно более стабильной, словно почти избавившись от характерного для прежних генераторов видео «шипения» всех объектов в кадре. Да и в целом визуальное качество по сравнению с тем, что было у Runway год назад, впечатляюще шагнуло вперёд, и некоторые видео выглядят уже словно настоящими.
Создатели сообщают, что Gen-3 – это не улучшенная версия Gen-2, а совершенно новая модель, обученная по другим принципам на гораздо более тщательном подобранном и описанном наборе различных данных. Новый генератор для создания правдоподобных видео пытается стремиться к «пониманию» мира, авторы называют это своей конечной целью.
В некоторых приведённых роликах особый упор сделан на реалистичные лица людей (взгляните, например, на первую картинку к данной новости). Здесь прогресс по сравнению с той «кашей», что предлагал на старте Gen-2, особо силён.
Также демонстрируются различные кинематографические эффекты, профессиональные ракурсы и пролёты камеры. Есть примеры макросъёмки, подводной съёмки, различных стилей, словно имитирующих классиков кино. В демонстрационных роликах также можно найти много элементов фантастики и сюрреализма. Судя по всему, у модели весьма высокий уровень «насмотренности».
Предыдущее поколение видеогенератора от Runway – Gen-2 было анонсировано весной прошлого года, а свободный доступ к нему был открыт в начале лета 2023. Причём пользователям было предложено и несколько десятков бесплатных попыток в качестве пробы. Сроки доступа к Gen-3 Alpha пока неясны, но один из источников упоминает, что доступ может быть открыт уже в ближайшие дни.
Также, как и Gen-2, Gen-3 сможет генерировать видео с нуля или же использовать вашу картинку в качестве начального опорного кадра. Помимо самой генерации видео, вновь будут доступны различные вспомогательные инструменты, которые позволят управлять камерой, контролировать движение и т. д. Runway обещают, что скоро таких инструментов станет ещё больше.
Теперь к минусам. Авторы честно признаются, что в модели есть цензура. Очевидно, генерировать что-то спорное или известных людей ИИ просто откажется.
Также самой главной проблемой видеогенераторов остаётся время. Целостными получаются буквально несколько секунд, после чего изображение может расплываться или меняться слишком сильно. Если у Gen-2 и многих других генераторов лимит был в 4 секунды, то все демонстрационные ролики Gen-3 Alpha длятся 10 секунд.
Немного технических деталей: ролики на сайте имеют разрешение HD и частоту 24 кадра в секунду. Это немного, но другие генераторы пока предлагают столько же или хуже. Тем более HD-разрешение, возможно, не предел новинки. Gen-2 на старте, напомним, предлагал разрешение примерно втрое ниже.
Заметим, что июнь выдался «жарким» на новые генераторы видео. Буквально пару недель назад все профильные сайты обсуждали китайский генератор Kling. А неделю назад можно было наблюдать видео нейросети Dream Machine, созданной Luma Labs. В обоих случаях демонстрировался уровень на голову выше предыдущих генераторов видео, хотя ролики, увы, всё также ограничены 4-5 секундами.
Частично ослабить этот лимит времени ещё в начале года обещала компания OpenAI со своей нейросетью Sora. В феврале на анонсирующих роликах её уровень качества казался недосягаемым.
Однако Sora всё так же недоступна пользователям, никаких сроков не называется, а Kling и Dream Machine от Luma уже пробуют реальные пользователи, и качество весьма высоко. Скоро, вероятно, можно будет попробовать и Gen-3 Alpha. Будем надеяться, в будущем этим генераторам удастся преодолеть серьёзные ограничения по времени.