Найти в Дзене
89 подписчиков

MIT инженер🛠️ разработали метод под названием Clio, который позволяет роботам картографировать окружающее пространство и идентифицировать объекты, важные для выполнения конкретных задач. Этот подход помогает роботам определять необходимый уровень детализации для интерпретации окружающей среды в зависимости от задач. Например, если роботу нужно протереть столешницу, он сначала может рассортировать объекты на столе, такие как пакеты с соусом, прежде чем приступить к уборке🧹.


Clio использует нейронную сеть🧠 для обучения на миллионах пар изображений и текстов, а также для идентификации сегментов в сцене, характерных для определенных терминов, как, например, "собака🐕". Метод был протестирован в различных условиях, включая беспорядочный офис и пятиэтажное здание на кампусе MIT.

Метод также использовался на роботе с четырьмя ногами от Boston Dynamics, Spot. Он исследовал и картографировал внутреннюю часть офисного здания, в то время как Clio выделял визуально связанные с задачей сегменты💼. Метод создавал наложенную карту, показывающую только целевые объекты, которые робот затем использовал, чтобы приблизиться и физически выполнить задачу.

Команда планирует адаптировать Clio для выполнения более сложных задач и использовать новые достижения в области фотореалистичных визуальных представлений. Они стремятся приблизиться к более "человеческому" пониманию сложных задач, таких как "найти выживших" или "восстановить электроснабжение", что очень важно для поисково-спасательных операций⚡🆘.

#neuroco #нейроконтент #машинноеобучение #языковыемодели #нейросеть #нейронка #ArtificialIntelligence
1 минута