Apple изобрела отслеживание взгляда для будущих XR-очков
Apple запатентовала принципиально новую систему отслеживания взгляда, разработанную специально для компактных XR-очков. В отличие от громоздкой технологии в гарнитуре Vision Pro с несколькими инфракрасными камерами, новое решение работает всего с одной камерой на глаз и может функционировать даже при обычном освещении без дополнительной подсветки. Система использует ротационную модель глаза с несколькими степенями свободы и центроидным центром вращения вместо фиксированной точки — это позволяет точнее учитывать реальное поведение человеческого глаза при движении в разных направлениях.
Главная хитрость изобретения — разделение вычислений на два параллельных процесса. Первый, называемый Reference Estimator, работает с низкой частотой и строит полную ротационную модель глаза относительно устройства. Второй, Gaze Estimator, работает на высокой частоте и вычисляет только два угла поворота — возвышение и азимут — используя уже готовую модель как ограничение. Такой подход резко снижает вычислительную нагрузку и энергопотребление, что критично для легких очков, которые пользователь будет носить целый день. Система пересчитывает полную модель только при возникновении «триггерного события», а не каждый кадр, как это делают традиционные решения.
Инженеры Apple предусмотрели работу в условиях сильной окклюзии — когда части глаза неизбежно закрыты оправой или ресницами из-за близкого расположения камеры. Для этого система использует гибридный подход: когда доступны блики от инфракрасных источников света (глинты), она опирается на них, а когда их недостаточно — переключается на отслеживание других признаков — зрачка, радужки или лимба. Нейросеть оценивает надежность обоих методов и либо выбирает лучший вариант, либо смешивает их для получения финального вектора взгляда. Это особенно важно для реальных условий использования, где освещение постоянно меняется — от яркого солнца до полумрака кафе.
Патент явно указывает на подготовку к выпуску компактных XR-очков, а не только массивных гарнитур. Документ неоднократно упоминает «устройства типа очков» и подчеркивает возможность работы с минимальным количеством аппаратных компонентов. Авторами изобретения числятся Том Сенгелауб, старший инженерный менеджер по компьютерному зрению, и Хуа Гао, инженер компьютерного зрения. Стоит помнить, что каждое новое устройство и функция Apple начинались именно с подробных патентных заявок — так что будущие очки от компании уже не кажутся такой уж фантастикой.
