Odyssey выпустила первую в мире мировую модель, которая генерирует видео и звук одновременно в реальном времени

Odyssey выпустила первую в мире мировую модель, которая генерирует видео и звук одновременно в реальном времени

Starchild-1 от компании Odyssey — это принципиально новый тип ИИ, который называется world model, то есть модель мира. Она обучается не на тексте, а напрямую на видео: пикселях, движении и действиях из реального мира.

Обычные модели вроде Kling или Veo генерируют видеоклип заранее и отдают его готовым. Starchild-1 работает иначе — она создаёт видео и звук покадрово в реальном времени и реагирует на ввод пользователя прямо во время генерации. Можно управлять происходящим на экране в процессе.

Главное отличие от предыдущих world models — звук. До этого все подобные модели работали только с визуальной частью. Starchild-1 генерирует синхронизированные аудио и видео одновременно. Шум волн, голос персонажа, звуки окружения — всё создаётся параллельно и в темп.

Применения, которые называет сам Odyssey — робототехника, образование, игры, медицина и оборонная сфера.

@bykorolev