16 подписчиков
Создатели стартапа Runway Ai выпустили нейросеть, которая генерирует видео по текстовому запросу
Правда есть нюанс: пока нельзя создавать видео длиннее трёх секунд.
Уверены, вы уже слышали про Midjourney — нейросеть, которая рисует картинки по текстовому описанию. Технологии зашли чуть дальше, и теперь таким же способом можно создавать и видео. Новая нейронка, которая умеет так делать, называется Gen‑2, — и вот в каких режимах она работает:
Текст = видео. Тут всё просто: на входе нейросеть получает текстовый запрос и рендерит видео на его основе.
Картинка = видео. Все то же самое, только с картинкой.
Текст + картинка = видео. Немного сложнее: прикрепляете картинку и пишете чат-боту «ТЗ», как именно её нужно анимировать.
Стилизация. Пример: вы загружаете видео, в котором вы танцуете на лужайке, а рядом заливаете фотку Железного человека. Получается видео с Железным человеком, танцующим на лужайке.
По шаблону. Можно собрать мокап из подручных средств – сфотографировать предметы на столе, чтобы ИИ превратил их в панораму города.
«Тонкая настройка». Этот режим позволяет дообучить нейросеть с помощью тренировочных картинок для более точного результата.
Технология может быть полезна для дизайнеров, режиссеров и аниматоров, которые хотят сначала представить сцену, прежде чем её визуализировать.
Как попробовать
Как и Midjourney, нейросеть работает в виде чат-бота в Discord, но для ограниченного числа пользователей. Чтобы оценить новинку, нужно авторизоваться на сервисе и записаться в лист ожидания.
1 минута
22 марта 2023