Runway презентовала четвёртое поколение своей модели типа img2video. Нейронка оживляет любую картинку с впечатляющей точностью и натуральностью, предлагая ролики на уровне Google Veo 2. Оцениваем результаты новинки на практике и сравниваем с конкурентами.
Что улучшили
Главная фишка Gen-4 — консистентность персонажей и объектов в каждой сцене. Многие видеогенераторы не умеют сохранять детали неизменными, искажая их. Здесь же все черты локаций и действующих лиц точно передаются из кадра в кадр с разных ракурсов. Это важно в том числе при взаимодействии с изображениями-референсами. Загруженный дизайн воспроизводится правильно в любых вариантах освещения и окружения. Можно внести конкретный предмет, не меняя всю сцену. Вдобавок нарратив удобно задавать текстовыми инструкциями (до 1000 символов).
Runway показала короткометражки, где стабильно удерживается кинематографический стиль. Конечно, были отобраны идеальные примеры. Потрудились и над физикой, естественностью движений и реализмом. Бесшовно сочетаются анимация, визуальные эффекты и «натуральная съёмка». Разработчик приводит инструкцию по эксплуатации здесь. За раз создаются клипы длительностью от 5 до 10 секунд, их можно скомпилировать в более длинные фрагменты. Предлагаются следующие опции разрешения и соотношения сторон:
- 16:9 — 1280x720, 9:16 — 720x1280;
- 1:1 — 960x960;
- 4:3 — 1104x832, 3:4 — 832x1104;
- 21:9 — 1584x672.
Runway Gen-4 доступна платным подписчикам сервиса. Стоимость базового тарифа — 12 долларов в месяц.
Примеры и недостатки
Модель неплохо функционирует в синергии с продвинутыми генераторами картинок, такими как GPT-4o. К примеру, можно взять иллюстрации Японии XV века от ИИ и сделать ролик на эту тему. Есть и другие инструменты, направленные конкретно на фотореализм (новая Midjourney V7, Imagen 3, Reve, Recraft и не только). Материал от них функция img2video способна обработать ещё удачнее.
Нейросеть выглядит совершеннее OpenAI Sora по части стабильности внешнего вида объектов. KlingAI — хороший аналог в отношении динамичности и реализма клипов, но иногда уступает в плане скорости и консистентности. Google Veo 2 — это, пожалуй, лучший вариант по части детализации, особенно за счёт 4K-разрешения. Её главный минус — ограниченный доступ (только по списку ожидания в CША).
Runway 4, безусловно, тоже может промахиваться и дорисовывать артефакты. Ей хуже даются нестандартные черты людей — скажем, асимметричные лица или отсутствующие конечности. Несколько попыток для наилучшего итога могут понадобиться. В целом же это весомый шаг вперёд для отрасли видеогенерации.