Команда DeepMind, которая является частью Google, представила обновленную модель Robotics Transformer второго поколения, объединяющую системы видения, языка и действия (VLA). Эта модель значительно упрощает процесс обучения роботов, позволяя им анализировать и "рассуждать" на основе имеющихся данных для решения неизвестных задач.
Ранее, чтобы решить базовую задачу, например, сбор мусора, робота нужно было обучать поэтапно, начиная с определения, что является мусором, и заканчивая объяснением, как его собирать и куда выкидывать. Однако с помощью модели Robotics Transformer второго поколения (RT-2) роботы могут использовать ранее изученные данные для решения новых задач. Теперь роботу не нужно объяснять, что такое мусор – он самостоятельно определяет, какие объекты подходят для достижения поставленной цели.
Команда DeepMind сообщила, что их робот Everyday Robot был обучен более чем 700 задачам с помощью предыдущей модели RT-1, используя базу данных из 130 тысяч демонстраций, что позволило роботу успешно выполнить 97% поставленных задач. С использованием модели RT-2 результаты должны стать еще лучше, поскольку она была обучена на веб-данных и данных робототехники, используя достижения в области больших языковых моделей, таких как Bard от Google или GPT от OpenAI, и комбинируя их друг с другом.
Команда DeepMind провела более 6000 испытаний роботов, в ходе которых были проведены как качественные, так и количественные эксперименты на моделях RT-2. Каждая задача требовала от роботов понимания визуально-семантических концепций, например, "поднять сумку, которая вот-вот упадет со стола", и их способности справляться с такими концепциями. Во всех случаях исследователи наблюдали более чем втрое повышение производительности обобщения по сравнению с предыдущими базовыми показателями. Использование модели RT-2 также позволило улучшить эффективность выполнения роботом поставленных задач в ранее невиданных сценариях с 32% до 62%, что является значительным улучшением по сравнению с RT-1.
Вот и всё на этом🙃 Если дочитали до этого места, обязательно подпишись! Ведь дальше будет еще интереснее! Следующие полезности не за горами! 😉
