На выставке CES 2025 генеральный директор NVIDIA Дженсен Хуанг представил новую платформу с передовыми генеративными моделями для развития систем физического искусственного интеллекта, включая автономные транспортные средства и роботов.
Платформа Cosmos World Foundation Models (WFM) предоставляет разработчикам возможность создавать большие объёмы фотореалистичных синтетических данных на основе физических законов для обучения существующих моделей. Модели Cosmos будут доступны по открытой лицензии для ускорения работы сообщества разработчиков робототехники и автономного транспорта.
Среди компаний, внедривших Cosmos, — ведущие производители роботов и автомобилей, включая 1X, Agile Robots, Agility, Figure AI, Foretellix, Fourier, Galbot, Hillbot, IntBot, Neura Robotics, Skild AI, Virtual Incision, Waabi и XPENG, а также Uber.
Разработчики смогут настраивать модели WFM с помощью различных наборов данных, таких как видеозаписи поездок автономных автомобилей или передвижения роботов по складу. Модели Cosmos WFM могут генерировать физически корректные видео на основе различных входных данных: текста, изображений, видео, а также данных с датчиков роботов или информации о движении.
Благодаря технологии обработки данных на базе NVIDIA AI и CUDA, работающей на платформе NVIDIA Blackwell, разработчики смогут обрабатывать, систематизировать и маркировать 20 миллионов часов видео за 14 дней вместо 3,4 лет при использовании только CPU.
Компании, ведущие деятельность в области физического ИИ, уже внедряют технологии Cosmos. Компания 1X, специализирующаяся на человекоподобных роботах, запустила набор данных 1X World Model Challenge с использованием Cosmos Tokenizer. XPENG планирует использовать Cosmos для ускорения разработки своего робота, а Hillbot и SkildAI применяют платформу для создания роботов общего назначения.
В транспортной отрасли Waabi планирует использовать Cosmos для поиска и обработки видеоданных при разработке программного обеспечения для автономных транспортных средств. Wayve рассматривает возможность применения Cosmos для поиска сложных сценариев вождения. Foretellix планирует использовать Cosmos совместно с API Nvidia Omniverse Sensor RTX для оценки и генерации тестовых сценариев.
Кроме того, Uber заключил партнёрское соглашение с NVIDIA с целью ускорения развития автономной мобильности. Богатые наборы данных о вождении, предоставленные Uber, в сочетании с возможностями платформы Cosmos и облака NVIDIA DGX, помогут разработать более сильные модели искусственного интеллекта.
Открытая платформа Cosmos включает в себя защитные механизмы, предназначенные для смягчения вредного текста и изображений, а также инструмент для улучшения текстовых запросов для повышения точности. Видеоролики, сгенерированные с помощью моделей Cosmos на основе API-каталога Nvidia, содержат водяные знаки для идентификации контента, сгенерированного искусственным интеллектом, что поможет уменьшить вероятность распространения дезинформации и неправильной атрибуции.