Британские ученые создают нейросеть, способную распознавать нажатия клавиш на компьютерной клавиатуре по звуку с уровнем точности до 95%. Это позволяет алгоритму распознавать пароли и переписку в ходе видеозвонков. Для обучения нейросети учёные сопоставили звук каждой клавиши на клавиатуре с соответствующей ей буквой. Затем экспериментаторы преобразовали аудиозаписи в изображения в виде волновых диаграмм и спектрограмм, используя их для обучения нейросети. После этого набирался пароль на ноутбуке, а алгоритм должен был вычислить, какое слово было введено, основываясь на последовательности звуков. Результатом стало точность распознавания печатных слов в 95%.
Далее разработчики решили проверить, можно ли использовать этот метод для подбора паролей во время видеозвонка. Программа показала чуть меньшую, но всё же очень пугающую точность распознавания: 92% для Skype и 93% в случае с Zoom. Испытания проводились на MacBook Pro с чипом М1 и 16-дюймовом экраном 2021 года и iPhone 13 mini, размещённых на расстоянии 17 сантиметров друг от друга.
Создатели утверждают, что защита от такого метода взлома может быть крайне простой — использовать менеджер паролей, который автоматически подбирает сложные пароли одним щелчком мыши. Однако, это не является полностью безопасным способом, так как существует множество других методов взлома, которые могут быть использованы злоумышленниками.