Прорывное исследование ученого из Китая доктора Ху Юйхана, опубликованное в Science Robotics, представляет робота с биомиметическим лицом, который достигает реалистичной, управляемой ИИ синхронизации губ с речью и пением за счет самоконтролируемого обучения.
15 января 2026 года прорывная работа ученых из Инженерной школы Колумбийского университета была опубликована на обложке журнала Science Robotics. Исследование демонстрирует гуманоидного робота с биомиметическим лицом, способного воспроизводить реалистичные, естественные движения губ, синхронизированные с человеческой речью и пением, благодаря использованию глубокого обучения.
Робот был разработан командой под руководством доктора Ху Юйхана, основателя Aheadform и аспиранта Колумбийского университета. Его лицо покрыто эластичной силиконовой кожей, приводимой в движение более чем 20 миниатюрными моторами, расположенными под ней. Ключевое новшество заключается в использовании самоконтролируемой системы обучения «зрение-действие», при которой робот наблюдает за собой в зеркале для создания модели трансформации лицевых движений, что обеспечивает автономное управление моторикой губ — по сути, достигая самомоделирования робота.
Тестирование показало, что робот сохраняет плавную и точную синхронизацию губ в нескольких языках, включая английский, китайский и испанский, а также при воспроизведении сложных музыкальных ритмов, демонстрируя высокую степень межъязыковой обобщающей способности. Исследователи отметили, что фонемы, требующие полного смыкания губ или сильного округления — например, звуки «Б» и «У» — по-прежнему представляют сложность, однако подчеркнули потенциал системы для непрерывного обучения и совершенствования.
Доктор Ху заявил, что мимика, особенно движения губ, является отсутствующим элементом в современных гуманоидных роботах. По мере того как роботы всё чаще вовлекаются в сценарии, требующие эмоционального отклика — такие как образование и компаньонство — естественная мимика станет базовым требованием. Помимо академического значения, данное исследование предлагает конкретный путь к тому, чтобы помочь гуманоидным роботам преодолеть «эффект зловещей долины» и достичь более естественного взаимодействия человека и машины.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Pandaily