Британские исследователи разработали нейросеть, способную распознавать нажатия клавиш на компьютерной клавиатуре по звуку с уровнем точности до 95%. Благодаря этому, алгоритму по силам распознавать пароли и переписки в ходе видеозвонков.
Для обучения нейросети учёные сопоставили звук каждой клавиши на клавиатуре с соответствующей ей буквой. Далее экспериментаторы преобразовали аудиозаписи в изображения в виде волновых диаграмм и спектрограмм, использовав их для обучения нейросети. Затем набирался пароль на ноутбуке, а алгоритм просили вычислить, какое слово было введено, основываясь на последовательности звуков. В результате программа распознавала печатные слова с точностью 95%.
Затем разработчики решили проверить, можно ли использовать этот метод для подбора паролей во время видеозвонка. Программа и в этом случае продемонстрировала чуть меньшую, но всё ещё очень пугающую точность распознавания: 92% для Skype и 93% в случае с Zoom. В качестве источника звуков и микрофона использовались MacBook Pro с чипом М1 и 16-дюймовым экраном 2021 года и iPhone 13 mini, размещённый на расстоянии 17 сантиметров от него.
Защита от такого метода взлома может быть крайне проста — использовать менеджер паролей, который автоматически подбирает сложные пароли одним щелчком мыши.