Исследователи из MIT и Toyota разработали систему «Steerable Scene Generation», которая позволяет автоматически создавать реалистичные 3D-сцены для обучения роботов. Новый инструмент на базе искусственного интеллекта (ИИ) помогает моделировать кухни, рестораны и жилые комнаты, где роботы могут тренироваться взаимодействовать с предметами и выполнять различные задачи.
Система использует миллионы заранее созданных моделей объектов, таких как столы, тарелки и столовые приборы. Затем ИИ расставляет их в новых сценах и корректирует расположение с учётом физических законов, предотвращая пересечение объектов и другие ошибки 3D-графики. В основе метода лежит алгоритм «Monte Carlo Tree Search», позволяющий постепенно улучшать сцены, добиваясь максимальной реалистичности и сложности.
«Steerable Scene Generation» позволяет роботам учиться на разнообразных сценариях с использованием обучения с подкреплением. Система может также реагировать на текстовые команды пользователя, например создать кухню с определёнными предметами, с точностью до 98% для некоторых сцен.
Исследователи отмечают, что новая технология сокращает время и ресурсы, необходимые для создания обучающих данных, и обеспечивает сцены, максимально приближенные к реальному миру. В будущем они планируют добавить возможность создавать полностью новые объекты и интерактивные элементы, такие как шкафы и банки с продуктами, чтобы сделать тренировки роботов ещё более практичными и адаптивными.