Познакомьтесь с роботизированной собакой с воспоминаниями, как у слона, и инстинктами опытного спасателя.
Разработанная студентами инженерного факультета Техасского университета A&M, эта роботизированная собака на базе искусственного интеллекта не просто выполняет команды — она видит, запоминает и думает. Разработанный для точного передвижения в хаосе, робот может революционизировать поисково-спасательные операции, реагирование на чрезвычайные бедствия и многие другие чрезвычайные операции.
Сандун Витарана, магистрант по инженерным технологиям, и Санджая Малликараччи, междисциплинарный докторант инженерии, возглавили изобретение роботизированной собаки, которая никогда не забывает, где была и что её видели. Он понимает голосовые команды и использует ИИ и ввод камеры для планирования пути и идентификации объектов.
Как работает система памяти робота
Робототехник описал бы его как наземного робота, использующего навигационную систему с управлением памятью и питаемую мультимодальной большой языковой моделью (MLLM). Эта система интерпретирует визуальные входные данные и генерирует решения о маршрутизации, интегрируя захват изображений окружающей среды, высокоуровневое рассуждение и оптимизацию маршрутов, в сочетании с гибридной архитектурой управления, которая позволяет как стратегическое планирование, так и корректировки в реальном времени.
Навигация роботами эволюционировала от простых методов на основе ориентиров до сложных вычислительных систем, интегрирующих различные сенсорные источники. Однако навигация в непредсказуемых и неструктурированных условиях, таких как зоны бедствий или отдалённые районы, остаётся сложной в автономных исследованиях, где эффективность и адаптивность имеют решающее значение.
Хотя роботизированные собаки и навигация на основе больших языковых моделей существуют в разных контекстах, уникальной концепцией является сочетание собственной MLLM с системой на основе визуальной памяти, особенно в универсальной и модульной структуре.
«Некоторые академические и коммерческие системы интегрировали языковые или визуальные модели в робототехнику», — сказал Витарана. «Однако мы не видели подхода, который бы использовал навигацию по памяти на основе MLLM в той структурированной форме, которую мы описываем, особенно с пользовательским псевдокодом, управляющим логикой принятия решений.»
Разработка и потенциальные применения
Малликараччи и Витхарана начали с изучения того, как MLLM может интерпретировать визуальные данные с камеры в роботизированной системе. При поддержке Национального научного фонда они объединили эту идею с голосовыми командами, чтобы создать естественную и интуитивно понятную систему, показывающую, как зрение, память и язык могут взаимодействовать интерактивно.
Эта роботизированная собака с искусственным интеллектом не просто выполняет команды — она видит, запоминает и думает. Разработанный для точного передвижения в хаосе, робот может революционизировать поисково-спасательные операции, реагирование на чрезвычайные бедствия и многие другие чрезвычайные операции.
Как и люди, робот использует реактивное и обдумывающее поведение, а также взвешенное принятие решений. Он быстро реагирует, чтобы избежать столкновений, и осуществляет планирование на высоком уровне, используя пользовательский MLLM для анализа текущего представления и планирования наилучших действий.
«В дальнейшем такая структура управления, вероятно, станет распространённым стандартом для роботов, похожих на людей», — объяснил Малликараччи.
Система памяти робота позволяет ему возвращать и повторно использовать ранее пройденные маршруты, делая навигацию более эффективной за счёт снижения повторного исследования. Эта возможность критически важна в поисково-спасательных операциях, особенно в некартированных районах и местах, где GPS не доступно.
Потенциальные применения могут выходить далеко за рамки реагирования на чрезвычайные ситуации. Больницы, склады и другие крупные объекты могли бы использовать этих роботов для повышения эффективности. Его современная навигационная система также может помогать людям с нарушениями зрения, исследовать минные поля или проводить разведку в опасных зонах.
Доктор Исуру Годаж, доцент кафедры инженерных технологий и промышленного распределения, консультировал проект.
«Суть нашего видения — внедрение MLLM на краю, что даёт нашей роботизированной собаке мгновенную, высокоуровневую ситуационную осведомлённость и эмоциональный интеллект, которые ранее были невозможны», — сказал Годаж. «Это позволяет системе бесшовно преодолевать разрыв между людьми и машинами. Наша цель — сделать так, чтобы эта технология была не просто инструментом, а по-настоящему эмпатичным партнёром, делая её самой сложной и готовой к экстренному реагированию системой для любой некартографированной среды.»
Нуралем Абизов, Аманжол Бектемесов и Айдос Ибраев из Международного инженерно-технологического университета Казахстана разработали инфраструктуру ROS2 для проекта. Его Величество Чамика Виджаяграхи из Ковентрийского университета в Великобритании поддержала разработку карты и анализ экспериментальных результатов.
Витхарана и Малликараччи представили робота и продемонстрировали его возможности на недавней 22-й Международной конференции по вездесущим роботам. Исследование было опубликовано в материалах конференции 22-й Международной конференции по вездесущим роботам (UR) 2025 года.