Компания Runway представила новый мощный AI-модель Gen-4, которая сулит генерировать персонажей с высокой согласованностью и реалистичной физикой. Это значительное улучшение по сравнению с предыдущими версиями.
Runway Gen-4 уже начала внедряться у клиентов, и примеры работ показывают, что модель действительно делает шаг вперед по сравнению с предыдущими. Одной из ключевых особенностей является способность поддерживать последовательность персонажей, локаций и объектов в различных "кадрах". Способность сохранять "согласованную окружающую среду", как выражается в Runway, долгое время была слабым местом для генераторов видео на основе AI, которые не могли убедительно удерживать восприятие зрителя.
Компания утверждает, что Gen-4 может использовать визуальные ссылки в сочетании с инструкциями, создавая новые изображения и видео с помощью согласованных стилей, объектов и локаций, и все это без необходимости в тонкой настройке или дополнительном обучении.
Каждая новая версия модели также предлагает впечатляющую функцию "изображение в видео", где пользователь может загрузить фотографию и анимировать её. Редактор видео вводит подсказку, рассказывая Gen-4, как анимировать статичное изображение, давая конкретные инструкции о том, как должен вести себя персонаж.
Runway уверяет, что Gen-4 отличается способностью генерировать динамичные видео с реалистичным движением, а также с последовательностью объектов, стилей и соблюдением заданных параметров. Это также важный шаг в моделировании реальной физики в визуальных генеративных моделях.
Кроме того, ключевое слово, которое использует Runway, это "согласованность". Если компания удастся этого добиться, то "можно будет начать рассказывать более длинные нарративные истории с фактической последовательностью", говорит глава Runway Studio Джейми Умперсон.
Такое развитие имеет значение для амбиций компании, которая в прошлом году подписала контракт с Lionsgate, почувствовавшим потенциал AI в киноиндустрии и стремящимся использовать большой каталог контента для обучения.
Runway выпустила ряд фильмов, созданных с помощью Gen-4, которые доступны на их YouTube-канале.