Российские учёные из Сколтеха разработали искусственный интеллект на основе мультимодальной языковой модели LLM-BRAIn для управления отдельными роботами или целыми роями автономных механизмов. Нейросеть уже испытана на роботе-собаке, которая может взаимодействовать с человеком, анализируя окружающую обстановку с помощью цифрового «зрения». ИИ такого типа способен решать не просто узконаправленные задачи, а может анализировать визуальный контекст и «понимать» отношения между словами. В будущем такие роботы могут использоваться в роли собак-поводырей и найти применение в других областях.
Учёные из Центра системного проектирования Сколтеха оснастили робота-собаку искусственным интеллектом на основе мультимодальной языковой модели LLM-BRAIn. Это означает, что робот может выполнять голосовые команды человека, анализируя при этом окружающую обстановку. Робот пока «владеет» русским и английским, но в будущем будет поддерживать 40 языков. Об этом RT сообщили в пресс-службе Сколтеха.
Нейросети, построенные на основе мультимодальной языковой модели, имитируют человеческие процессы чтения и восприятия информации. Это большие обученные нейронные сети, которые генерируют ответ на запрос пользователя с учётом контекста: смыслового, видеоряда, изображений, звуков и т. д. К таким нейросетям относят и большие языковые модели (large language models) — речь идёт об очень больших моделях глубокого обучения. Такие нейросети обучаются на огромных объёмах данных. Нейросети такого типа способны не просто решать узконаправленные задачи на основе формальных критериев, а определять отношения между словами и словосочетаниями и генерировать связный текст или речь, а также решать иные сложные задачи. Известным примером нейросети такого типа является ChatGPT.
Авторы разработки реализовали этот принцип в роботе-собаке, которая не только анализирует голосовые команды человека, но и оценивает окружающую обстановку с помощью видеокамер. Далее управляющий роботом искусственный интеллект на основе большой языковой модели обрабатывает все собранные данные и выдаёт голосовой ответ через динамики.
В роботе-собаке используются графический процессор NVIDIA NX и операционная система Ubuntu с поддержкой Robotic Operating System (специальная операционная система для роботов). Робот весит около 13 кг и может развивать скорость до 3,7 м/c. Механизм оснащён пятью встроенными камерами.
Разработанная нейросеть LLM-BRAIn точно формирует сложное поведение робота, оставаясь при этом достаточно маленькой, чтобы её можно было запустить на бортовом микрокомпьютере механизма.
Сейчас нейронная сеть тестируется, а роботы-собаки выбраны в качестве платформы для отработки и отладки алгоритмов. Такие роботы в будущем смогут служить человеку в качестве собак-поводырей или помогать по дому. Постоянно обучаемая модель позволит анализировать не только текст и изображения, но и тактильные, обонятельные и вкусовые данные.
По словам разработчиков, созданную нейросеть можно будет развернуть на различных роботизированных устройствах. Для этого они должны иметь специальные сенсоры и поддерживать операционную систему ROS.
«Мы предложили концепцию большого искусственного интеллекта (large artificial intelligence). Он будет предназначен для управления большими группами или роями роботов одного типа — они могут состоять из БПЛА, роботов-собак, андроидов и т. п. Такие рои, работающие на основе больших мультимодальных языковых моделей, смогут анализировать окружающую обстановку при помощи сенсорных датчиков», — пояснил в комментарии RT руководитель Лаборатории интеллектуальной космической робототехники в Сколтехе доцент Дмитрий Тетерюков.
Подобные роботы смогут обследовать и оценивать труднодоступную местность, помещения, сооружения, а также заменять человека в опасных и некомфортных для него условиях.
