Восприятие социальных атрибутов человека
Исследователи показали, как информация о социальных человеческих отношениях получается из основных сигналов, таких как отслеживаемые группы, и как социальные правила используются для выполнения человеческих действий и движений. Однако для более глубокого анализа и распознавания социальных отношений и атрибутов необходимо извлекать более подробную информацию из данных сенсоров.
Поэтому в SPENCER разрабатываются инструменты для автоматической оценки:
- осанки тела,
- классификации человеческих признаков, таких как пол и возраст,
- оценки поз головы,
- определения представителя,
- классификации важных объектов в окружающей среде.
Что касается последних трех, рассмотрим более подробную информацию по ним в следующих разделах.
Оценка позы головы
Важным сигналом для социальных взаимодействий человека является ориентация на голову. Группы людей часто можно распознать либо стоящими в круговой форме, обращенной к центру, либо идущими рядом друг с другом, глядя в одном направлении.
Это означает, что ориентация головы может быть использована для поддержки таких задач, как обнаружение и отслеживание групп.
Для оценки ориентации головы исследователи классифицируют данное обнаружение верхней части тела как обнаружение слева, справа, спереди, сзади или ложноположительное. Этот подход вычисляет вариационную матрицу цветов изображений и применяет фильтр. Результат разбивается на регулярную, перекрывающуюся сетку и ядро-SVM. Исследователи оценили различные подобные приближения, которые могут компенсировать скорость вычислений с точностью до 93,5% или на два порядка быстрее, чем текущее состояние дел.
Обнаружение представителя
Еще одним ключевым элементом анализа социального поведения является выявление представителя, т.е. члена группы, который готов к взаимодействию и может принимать решения от имени группы.
Примерами могут служить родители в семье и учителя в школьном классе. Для руководящего сценария в SPENCER особенно полезно определить представителя, так как другие члены группы, скорее всего, последуют за роботом, когда он это сделает. Таким образом, даже если некоторые члены группы не отслеживаются из-за окклюзии, робот может направлять группу до тех пор, пока за ними следует представитель.
Для определения представителя можно использовать
- эвристику, например, рост человека (это исключает детей в качестве представителя),
- или его положение по отношению к роботу.
Другой подход заключается в использовании моделей речи людей для определения доминирующего положения на многопартийных собраниях. Однако в аэропортах невозможно надежно извлечь аудиосигналы.
Часто используют поведение тела и жесты, чтобы классифицировать вид четырех участников, разговаривающих между собой, по интервалам речи или без речи. Точность метода достигает 72%, но настройка статична. Однако в аэропорту люди обычно куда-то переезжают. Кроме того, из исследований на одних и тех же данных движения, связанные с речью, намного короче, чем сам жест, т.е. необходимы различные метрики для количественной оценки жестикуляции. Кроме того, жесты могут указывать как на говорящее, так и на активное прослушивание.
В ходе дальнейших экспериментов с тремя различными вариантами применения детектирования, выступающих с использованием вышеуказанных данных и записей данных о скорости было обнаружено:
- что жесты сами по себе не являются хорошим показателем речи (до половины наблюдаемых речей не сопровождались сильными жестами),
- что взаимосвязь между жестами и речью зависит от человека.
Поэтому исследуется взаимосвязь жестов и длительности последующего периода речи для более надежного обнаружения динамиков. Между тем, используется вышеупомянутая эвристика для определения представителя.
Эффективная классификация объектов с использованием онлайн-обучения
Помимо людей и их атрибутов, робот должен быть осведомлен о соответствующих объектах окружающей среды. В аэропорту к ним относятся движущиеся предметы, такие как тележки и тележки, которые могут представлять опасность для робота. Однако вместо использования стандартного автономного обучения на основе ранее полученных учебных данных ученые разрабатывают методы онлайн-обучения для классификации объектов. В частности, делается акцент на автономных методах обучения,
которые имеют два основных преимущества, заключающихся в том, что:
- они могут адаптироваться к новым ситуациям, т.е. они могут включать новую информацию путем обновления своих моделей обучения;
- они требуют меньше взаимодействия с пользователями, избирательно выбирая данные, которые особенно полезны для обучения.
Специалисты разработали эффективный онлайн мульти-классификатор, который генерирует меньше запросов к меткам, но результаты классификации лучше, чем предыдущие методы. Это особенно полезно для классификации и изучения многих различных объектов в режиме онлайн и при минимальном взаимодействии с пользователем, как это делается для применения в SPENCER.
