Runway выпустила 5 больших обновлений

Runway выпустила 5 больших обновлений

На прошедшем Research Demo Day Runway поделились пятью анонсами как по продуктам, так и в исследованиях, которые отражают наше будущее видение того, как ИИ изменит то, как рассказываются истории, достигается научный прогресс и как будут достигнуты новые рубежи человечества.

1. Обновление модели модели Gen-4.5

Скоро вы сможете одновременно генерировать и редактировать нативное аудио с Gen-4.5, а также редактировать видео на произвольной длине с помощью многокадрового монтажа.

2. Выпустили первую модель для взаимодействия с реальным миром General World — GWM-1

GWM-1 построен поверх Gen-4.5, но с одним важным отличием — он авторегрессивен. Он предсказывает покадр за кадром, основываясь на том, что было до этого. В любой момент вы можете вмешаться с действиями в зависимости от приложения, например, перемещением в космосе, управлением роботизированной рукой или взаимодействием с агентом, и модель будет моделировать дальнейшее происходящее.

3. Выпустили модель мира для моделирования среды в реальном времени — GWM Worlds

Вы даёте модели статичную сцену, и она создаёт погружающее, бесконечное, исследуемое пространство по мере вашего прохождения с геометрией, освещением и физикой. Всё в реальном времени. Вы можете путешествовать в любое место — реальное или воображаемое. Вы можете стать любым человеком, идущим по городу, дроном, летящим над заснеженной горой или роботом, управляющим складом.

4. Выпустили GWM Avatars

GWM Avatars — это интерактивная модель генерации видео, управляемая аудио, которая имитирует естественное движение и выражение человека для произвольных фотореалистичных или стилизованных персонажей.

5. Выпустили GWM Robotics

GWM Robotics — это обученный симулятор, который генерирует синтетические данные для масштабируемого обучения роботов и оценки политики, устраняя узкие места физического оборудования.

Подробнее тут

#новости@dailyprompts