89 подписчиков
Мы вот догадывались, что каждая клавиша звучит по-своему — нам часто приходится отмывать их после "контакта с жидкостью" и тут важное значение имеет именно сравнение звука хода клавиши с исходным — но британские исследователи доказали это научным методом.
Что сделали они. Сперва положили рядом с Макбуком микрофон и собрали учебный набор данных — нажимали 36 клавиш на современном MacBook Pro по 25 раз, записывая звук, издаваемый при каждом нажатии.
Затем из записей были получены осциллограммы и спектрограммы, визуализирующие различия для каждой клавиши, и выполнены специальные операции по обработке данных для увеличения сигналов, которые могут быть использованы для идентификации нажатий.
Изображения спектрограмм были использованы для обучения классификатора изображений CoAtNet, при этом пришлось экспериментировать с параметрами времени, скорости обучения и разбиения данных до достижения наилучшей точности предсказания.
Теперь оставалось лишь набирать что-либо на клавиатуре, а полученная нейросеть звук нажимаемых клавиш конвертировала в текст, причем точность распознания составляет 91-95 процентов.
Сами исследователи назвали эту методику акустической атакой, так как в теории она может использоваться для дистанционного взлома компьютера или слежкой за пользователями. На практике это скорее концепт, так как требует слишком много данных для корректной работы. А если кто-то получил доступ к вашему ноутбуку, то он вряд ли будет тренировать нейросеть на звучание ее клавиш. Но пять же, концепт красивый.
1 минута
8 августа 2023