Исследовательская группа из Колумбийского университета разработала роботизированное лицо под названием Emo, которое может распознавать мимику человека и мгновенно имитировать ее. Робот может предсказать человеческую улыбку за 839 миллисекунд и одновременно имитировать ее. Разработанный ими робот призван обеспечить более естественное взаимодействие между людьми и роботами.
Несмотря на то, что вербальное общение роботов стремительно развивается благодаря большим языковым моделям, невербальное общение развивается иначе. Ранее разработанные лица роботов могут отображать только запрограммированные выражения, а не быть органичными. В Emo команда пошла гораздо дальше и сосредоточилась на создании динамических выражений.
Исследователи подчеркивают, что для создания лицевой аниматроники необходимы сложные аппаратные и программные разработки. Что касается аппаратного обеспечения, то разработка роботизированного лица сопряжена с механическими трудностями. С программной стороны, правильное и своевременное управление моторами имеет огромное значение для качественного выражения эмоций.
Предыдущая роботизированная платформа Eva была одним из первых роботов, способных самостоятельно моделировать выражение лица. Однако для более естественного общения робот должен уметь предсказывать выражение лица собеседника. Чтобы добиться этого, команда разработала Emo, который превзошел Eva. Благодаря 26 приводам робот повышает чувствительность, представляя асимметричное выражение лица через непосредственно соединенные магниты. Кроме того, мимика собеседника распознается с помощью камер высокого разрешения, расположенных в каждом глазу робота.
Для предсказания выражения лица использовались нейронные сети
Исследователи используют двойную нейронную сеть для предсказания выражения лица как самого Emo, так и собеседника. Это делает возможной экспрессию в реальном времени. Оснащенный 23 движками для выражения лица и тремя движками для движения шеи, Emo может генерировать двигательные команды в 5 раз быстрее.
Благодаря зеркальному отражению мимики первая нейронная сеть помогла роботу предсказать свою собственную эмоциональную мимику, интерпретируя двигательные команды, поступающие от аппаратного обеспечения. Вторая сеть была обучена предсказывать выражение лица собеседника во время разговора.
В результате всего этого лицо робота смогло предсказывать улыбки людей примерно на 839 миллисекунд раньше. Более того, робот смог синхронизировать свою собственную улыбку с человеческой в режиме реального времени.
"Я думаю, что точное предсказание выражения лица человека - это революция в области взаимодействия человека и робота", - говорит Юхан Ху, ведущий автор исследования.
