SayTap использует «обычную речь и патерны контакта ног» для формирования различных движений у четырехногих роботов.
Исследователи из подразделения DeepMind компании Google разработали большую языковую модель (LLM) SayTap для управления четвероногими роботами. Система распознает языковые команды и преобразует их в «патерны контакта ног» — последовательность действий и способ, которым робопес ставит ноги на землю во время движения.
Разработчики сообщают, что с использованием языковой модели система сможет понимать и распознавать обычные речевые команды. Например, роботу можно будет приказать «сидеть», «бежать», «идти рядом» и так далее. При этом для управления не нужны специальные слова — система распознает приказ и преобразует ее в понятную форму на основе анализа фразы, сказанной в свободной форме.
Тестирование языковой модели. Команда «Хорошие новости! Мы идем на прогулку в парк». Видео: Google
Роботы-собаки понимают базовые инструкции и выполняют их. Но система SayTap будет работать даже с расплывчатыми формулировками. Например, система выполнила такие команды, как «Пойди, поймай эту белку на дереве», «Действуй так, как будто у тебя хромает задняя левая нога» или «Двигайся, как будто земля очень горячая».
Когда робопсу сказали: «Отойди! Не обижай эту белку», — он быстрыми движениями отступил назад. А в ответ на слова «Хорошие новости, на этих выходных мы собираемся на пикник!», он радостно подпрыгнул, как это делает настоящая собака, услышав любимые слова, такие как «парк» или «на улице».
Тестирование языковой модели. Команда «Отойди! Не обижай эту белку». Видео: Google
«Простое и эффективное взаимодействие между человеком и четвероногими роботами прокладывает путь к созданию умных роботов-помощников, формируя будущее, в котором технологии улучшат нашу жизнь способами, превосходящими наше воображение», — пишут исследователи в обзоре в блоге Google.
Читать далее:
Физики впервые наблюдали «кольца Алисы»: квантовый вход в «зазеркалье»
Посмотрите, как Сатурн максимально приблизился к Земле
Посмотрите на галактику Водоворот: это фото сделали две разные камеры «Уэбба»