Накануне апрельской конференции ICLR 2026 компания Apple опубликовала в своём блоге по машинному обучению новое исследование. Проект под названием EMBridge посвящён тому, как искусственный интеллект может понимать движения рук человека, даже если конкретные жесты отсутствовали в его изначальной обучающей выборке. В основе технологии лежит электромиография (ЭМГ) — метод фиксации электрической активности, возникающей при сокращении мышц.
Электромиография давно применяется в медицине для диагностики и управления протезами. Однако в последние годы технологию всё активнее исследуют разработчики носимой электроники и систем дополненной реальности. Например, компания Meta* уже использует подобный принцип в умных очках Ray-Ban Display: специальный браслет Neural Band считывает сигналы мышц запястья для навигации по интерфейсу устройств.
В своём исследовании инженеры Apple обучали ИИ не на сигналах от классических умных часов, а с использованием двух масштабных баз данных:
- emg2pose — открытый массив, включающий 370 часов записей ЭМГ и синхронизированных движений рук от 193 человек. Он содержит более 80 миллионов меток положений кисти (от сжатия в кулак до счёта на пальцах), которые фиксировались камерами захвата движения с высоким разрешением.
- NinaPro — база данных, собранная с помощью 12 электродов на предплечье и специальной сенсорной перчатки. Она включает 49 различных жестов, выполненных десятками людей для обучения алгоритма.
Главная инновация Apple — фреймворк EMBridge. Это система кросс-модального обучения, которая выстраивает связь между сырыми электрическими сигналами мышц и трёхмерной структурой кисти. Сначала нейросеть изучала данные ЭМГ и положения рук по отдельности, затем исследователи синхронизировали эти данные позволив алгоритму ЭМГ учиться у алгоритма положений находить паттерны жестов.
На следующем этапе ИИ тренировали методом частичной реконструкции: алгоритму показывали сигналы мышц, но утаивали часть данных о реальном положении руки. Нейросеть должна была сама достроить недостающие элементы. Чтобы избежать ошибок в обучении, систему научили понимать, какие жесты похожи друг на друга, генерируя для них «мягкие» цели вместо того, чтобы отбраковывать их как совершенно неверные.
Результат оказался впечатляющим: EMBridge стала первой системой, способной классифицировать жесты методом «нулевого выстрела» (zero-shot) — то есть уверенно распознавать движения, которых вообще не было в её обучающей базе. Причём алгоритм превзошёл существующие аналоги, использовав для этого всего 40% от стандартного объёма тренировочных данных.
Учёные отмечают, что на данный момент слабое место технологии — зависимость от узкоспециализированных обучающих датасетов, требующих одновременной записи мышечных сигналов и точного оптического захвата движений.
В самом документе Apple не анонсирует конкретные устройства. Однако авторы прямо указывают, что главная сфера применения их разработки — взаимодействие человека и компьютера в носимой электронике. В перспективе датчики в будущих поколениях Apple Watch смогут непрерывно считывать жесты пользователя, позволяя буквально движениями пальцев управлять гарнитурой Apple Vision Pro, компьютерами Mac, смартфонами iPhone и умными очками, слухи о которых ходят уже не первый год.
⛔
*Компания Meta, а также принадлежащие ей соцсети Facebook и Instagram, признаны экстремистскими и запрещены на территории РФ.