По движениям глаз, хакеры способны считывать конфеденциальную информацию, например, вводимые пароли, PIN-коды и сообщения.
Группа из шести ученых представила новый способ атаки на гарнитуру смешанной реальности Apple Vision Pro, используя данные отслеживания глаз для расшифровки того, что пользователи набирают на виртуальной клавиатуре устройства.
Этот метод, названный GAZEploit, позволил исследователям успешно восстанавливать пароли, PIN-коды и сообщения, за которыми следили глаза пользователей.
Атака основывается на том, что направление взгляда позволяет хакеру определить, какую клавишу пользователь нажимает в данный момент. После пяти попыток правильные буквы в паролях удалось угадать в 77 % случаев.
Исследователи не имели прямого доступа к гарнитуре Apple, чтобы наблюдать за действиями пользователя. Вместо этого они анализировали движения глаз аватара, созданного Vision Pro, который используется в различных платформах, таких как Zoom, Teams, Slack, Reddit, Skype и других. Новая технология отслеживания является первым случаем использования биометрических данных о движении глаз для взлома. Она показывает, как информация о физиологии человека может раскрывать конфиденциальные данные и использоваться для шпионажа.
GAZEploit состоит из двух частей. Сначала исследователи разработали метод для распознавания момента, когда пользователь Vision Pro начинает печатать, анализируя поведение его 3D-аватара. С этой целью они обучили рекуррентную нейронную сеть на основе записей 30 аватаров, пока их пользователи выполняли задачи по набору текста. Было выявлено, что при наборе текста взгляд пользователя фиксируется на клавише перед тем, как быстро переместиться к следующей. Эти паттерны характерны для процесса ввода текста и отличаются от поведения глаз во время просмотра веб-страниц или видео.
Хакеры используют Google Таблицы в атаках
Вторая часть исследования основана на геометрических расчетах, позволяющих определить расположение виртуальной клавиатуры. Используя эти данные, ученые смогли предсказать, какие клавиши будут нажаты. В лабораторных тестах, не обладая информацией о привычках пользователя или расположении его клавиатуры, исследователи смогли угадывать правильные буквы с точностью до 92,1% для сообщений, 77% для паролей и 73% для PIN-кодов.