Инженеры Google DeepMind представили Gemini Robotics — ИИ-модель на архитектуре Vision-Language-Action (VLA). Она объединяет три ключевых компонента: компьютерное зрение, обработку естественного языка и управление физическими действиями.
Gemini Robotics умеет анализировать визуальные данные, интерпретировать команды и выполнять точные действия. Обновлённая модель Gemini Robotics-ER (Embodied Reasoning) отличается более точным ориентированием в пространстве и распознаванием объектов. Например, она может определить оптимальный способ захвата предмета и безопасную траекторию движения, что было продемонстрировано на примере работы с кофейной кружкой.
Gemini Robotics легко адаптируется к различным роботизированным системам. Хотя основное обучение проводилось на платформе ALOHA-2 с двумя манипуляторами, уже существует версия для промышленных манипуляторов Franka.
Google DeepMind также объявила о партнёрстве с компанией Apptronik, ответственной за разработку человекоподобных роботов. Это сотрудничество направлено на интеграцию Gemini Robotics в передовые роботизированные системы с целью их популяризации в будущем.