Компания Runway ML представила свои инструменты для преобразования текста в видео, Gen-1 в феврале 2023 года и Gen-2 в июне 2023 года. Теперь этот продуктивный американский ИИ-стартап представил Gen-3 Alpha, который станет грозным конкурентом для таких инструментов, как Dream Machine от Luma AI и Sora от OpenAI. Первые представленные образцы показывают, что Gen-3 Alpha может создавать очень реалистичные изображения.
Согласно заявлению Runway ML, Gen-3 Alpha будет способен "представлять и моделировать различные ситуации и взаимодействия, встречающиеся в реальном мире". Инструмент искусственного интеллекта может создавать видеоролики длиной до 10 секунд. Утверждается, что этот инструмент, дата выхода которого пока не определена, может создавать высокоточный видеоконтент - от движений камеры до персонажей с различными эмоциями.
Компания Runway ML сообщила, что Gen-3 Alpha была разработана путем совместного обучения моделей рендеринга "изображение-видео", "текст-видео" и "текст-картинка". Таким образом, инструмент искусственного интеллекта предоставляет пользователям контроль на уровне кинорежиссера и позволяет создавать видеопотоки с гораздо более детальными движениями камеры.
Gen-3 Alpha предоставляет пользователям гораздо больше контроля над временной шкалой, чем предыдущее поколение. Он также дает возможность создавать персонажей с жестами, мимикой и эмоциями для детальной проработки сюжета. Кроме того, в нем реализованы такие функции безопасности, как новая и улучшенная система внутренней визуальной модерации и стандарты точности C2PA.
По словам представителей Runway ML, Gen-3 Alpha - это совместная работа исследователей, инженеров и художников. В результате получился инструмент ИИ, который одновременно кинематографичен и технически стабилен.