Компания Anthropic представила многофункциональную ИИ-систему Runway Gen-2, которая может генерировать новые видео с помощью текста, изображений и видеоклипов, а также синтезировать реалистичные видео, используя композицию и стиль изображения или текстовой подсказки к структуре первоначального видео (видео в видео).
Способы, которыми Gen-2 может превратить любое изображение, видеоклип или текстовую подсказку в захватывающий фильм:
1. Текст в Видео: синтез видео в любом стиле, который вы можете себе представить, используя только текстовую подсказку.
2. Текст+изображение в Видео: синтез видео, используя ведущее изображение и текстовую подсказку.
3. Изображение в Видео: синтез видео, используя только ведущее изображение.
4. Стилизация: перенос стиля любого изображения или подсказки на каждый кадр нового видео.
5. Раскадровка: превращение макетов в полностью стилизованные и анимированные рендеры.
6. Маска: выделение объектов на видео и изменение их с помощью простых текстовых подсказок.
7. Рендеринг: превращение нетекстурированных рендеров в реалистичные результаты, применив входное изображение или подсказку.
8. Кастомизация: раскрытие потенциала Gen-2, настроив модель для еще более высокой верности результатов.
Сервис Runway Gen-2 доступен на сайте (без VPN) и в приложении для iOS.
На бесплатном тарифе функционал Runway Gen-2 ограничен.
Изучите тарифы:
Инструкция по использованию Runway Gen-2 на сайте:
- Выберите <Introducing Gen-2> или опцию Gen-2 <Text-to-video> во вкладке <AI Magic Tools>.
- Напишите запрос (на англ. языке) и дождитесь результата генерации.
Инструкция по использованию Runway Gen-2 в мобильном приложении
- Зайдите в приложение и на главной странице нажмите фиолетовую кнопку (с волшебной палочкой).
- Выберите <Gen-2> в появившемся окне и зарегистрируйтесь.
- Напишите запрос (на англ. языке) и дождитесь результата генерации.
Возможности бесплатной версии Runway Gen-2
Gen-2 генерирует по запросу сцену продолжительностью 4 сек. После регистрации в бесплатном аккаунте доступны 105 сек., которых хватит примерно на 26 генераций.
По окончании пробного периода ежемесячно даются 25 секунд на 6 генераций. Дополнительные секунды можно получить по платной подписке.
Генерация видео в Runway Gen-2
1. Интерполяция
Нажмите кнопку с настройками и поставьте галочку около интерполяции — эта настройка сгладит изображение.
2. Формула запроса
Формула запроса:
стиль — жанр — кадр — объект — действие — окружение — освещение
К примеру, если нужна сцена с движущейся машиной из киберпанк-фильма, то запрос будет следующий:
Cinematic action, cyberpunk film, car driving, city, night lighting
Нужно учитывать при составлении запроса то, что Gen-2 не распознает имена режиссеров и названия фильмов.
Вот какие параметры можно указать в запросе:
Стиль: cinematic action (кино), animation (анимация), black and white (черно-белый фильм).
Жанр: sci-fi film (научно-фантастическое кино), cyberpunk film (киберпанковый фильм), horror film (фильм ужасов), ad (реклама).
Кадр: wide angle (широкий угол), medium shot (средний план), close up shot (крупный план), extreme close up shot (очень крупный план), long shot (общий план).
Объект: a woman with red hair (женщина с красными волосами), a man in a blue suit (мужчина в синем костюме), a dog (собака), a mountain (гора), a boat (лодка).
Действие: walking (идет), running (бежит), talking (говорит), swimming (плавает), jumping (прыгает).
Окружение: beach (пляж), city (город), New York (Нью-Йорк), the moon (луна), volcano (вулкан).
Освещение: sunset (рассвет), sunrise (закат), day (день), night (ночь), horror film lighting (освещение как в хорроре), sci-fi lighting (освещение как в научной фантастике).
3. Сид
Для генерации коротких роликов в одном стиле и дальнейшего их объединения используются сиды. После первой генерации в настройках нужно поставить замочек возле номера сида. Когда будете генерировать ролики в другой тематике и стиле, необходимо снять замочек.
Вот видео с таким же сидом, как в предыдущем видео, но с другим запросом:
4. Генерация видео на основе исходного изображения
Gen-2 с трудом генерирует детали и сложные действия. Для обхода этого ограничения используйте исходное изображение для референса (справа от текстового поля). В запросе нужно прописать, что нужно делать персонажу с вашего исходного изображения.
Видео, сгенерированное на основе исходного изображения:
Друзья, будьте готовы к тому, что часто будут возникать проблемы с конечностями, глазами и др. Иногда генерируются лишние объекты.
Посмотрите ролик про инопланетян, созданный нейросетью Runway Gen-2:
P.S. Приглашение на Мастер-Классы по изучению Топовых Нейросетей, где Вас ждут Бонусы и Подарки:
