Специалисты из нескольких университетов Великобритании создали алгоритм на основе глубокого обучения нейросетей. Этот алгоритм способен узнавать, какие клавиши нажимаются на клавиатуре, с точностью 95%, если звук был записан через микрофон. Если запись была сделана в приложении Zoom, точность распознавания немного уменьшается до 93%.
Акустическая атака на основе этого алгоритма угрожает конфиденциальности персональных данных. Таким образом можно будет красть вводимые логины, пароли и прочие сведения. Если при выполнении других атак необходимо соответствие определённым условиям, вроде уязвимости в программном обеспечении, в данном случае нужен только высококачественный микрофон и получение доступа к нему. Такие микрофоны на компьютерах, ноутбуках и других электронных устройствах встречаются всё чаще. К тому же технологии машинного обучения развиваются, в результате чего акустические атаки несут всё большие угрозы.
Звук может быть записан на микрофон веб-камеры компьютера или ноутбука, на микрофон смартфона, планшета или других находящихся поблизости от компьютера устройств. Также ничего не мешает записывать звук при общении в приложениях вроде Zoom или Skype.
Для исследования записывали звук нажатия 36 клавиш на ноутбуке MacBook Pro. Каждую из них нажимали по 25 раз. Созданные на основе этого осциллограммы и спектрограммы показывают разницу в звуке при нажатии этих клавиш. Спектрограммы применили для обучения классификатора изображений CoAtNet.
Данная клавиатура Apple применяется в ноутбуках компании последних двух лет. Также в эксперименте использовали iPhone 13 Mini, который разместили в 17 см от ноутбука. Звук записывали через него и через приложения Zoom и Skype. В последнем случае точность распознавания составила 91,7%.
Чтобы не стать в будущем жертвой подобной атаки и не отдать злоумышленникам свои пароли, рекомендуется использовать длинные и генерируемые случайным образом пароли. Поскольку запомнить их невозможно, не придётся и вводить такие пароли с клавиатуры. Ещё на помощь могут прийти программы воспроизведения звуков нажатия клавиш, белый шум и клавиатурные аудиофильтры.