Входящая в состав Google команда DeepMind презентовала обновлённую модель видения-языка-действия (VLA) Robotics Transformer второго поколения, значительно упрощающая обучение роботов. Она позволяет машинам «рассуждать» и анализировать имеющиеся данные, чтобы решать неизвестные задачи.
Ранее для решения любой базовой задачи, будь то сбор мусора, нужно было поэтапно обучить робота сначала определять, что считать мусором, а затем объяснить, как его собирать и куда его выкидывать. В случае с RT-2 машины могут использовать изученные ранее данные для решения новых задач. Таким образом, роботу уже не нужно объяснять, что собой представляет мусор — он самостоятельно делает выводы о том, какие объекты лучше подходят для достижения поставленной цели.
В DeepMind отметили, что фирменный робот Everyday Robot был обучен с помощью RT-1 более чем 700 задачам. Его база данных включала 130 тысяч демонстраций, что позволило роботу успешно выполнять поставленные задачи в 97% случаев. С RT-2 результат должен стать ещё лучше, поскольку модель обучалась на веб-данных и данных робототехники, используя достижения в области больших языковых моделей, как Bard от Google или GPT от OpenAI, комбинируя их друг с другом.
Сотрудники DeepMind провели серию качественных и количественных экспериментов на моделях RT-2 в ходе более чем 6000 испытаний роботов. Каждая задача требовала понимания визуально-семантических концепций и способности робота справляться с этими концепциями, как, например, «поднять сумку, которая вот-вот упадёт со стола». Во всех случаях исследователи наблюдали повышение производительности обобщения более чем в 3 раза по сравнению с предыдущими базовыми показателями. Использование модели RT-2 позволило улучшить эффективность выполнения поставленных задач роботом в ранее невиданных сценариях с 32% до 62% по сравнению с RT-1.
Более подробно о новой модели обучения роботов можно почитать в блоге компании.
