Профессор Вашингтонского университета Кассем Фаваз и аспирант Юченг Ян проанализировали, как популярные приложения для видеоконференций собирают данные: они обнаружили, что по крайней мере одно из них записывает весь звук с микрофона, даже когда он отключен. В большинстве случаев при отключении звука приложения все еще имеют доступ к данным с микрофона.
Авторы решили разобраться, какой тип данных собирается и может ли там быть личная информация. Они использовали инструменты двоичного анализа для отслеживания необработанного звука в популярных приложениях для видеоконференций: звук передавался из приложения в аудиодрайвер компьютера, а затем в сеть, даже когда микрофон был отключен.
Используя алгоритмы машинного обучения, исследователи обучили нейросеть классифицировать действия человека только по звуку. Они выбрали шесть типичных фоновых действий: приготовление пищи, прием пищи, прослушивание музыки, набор текста и уборка. В результате нейросеть могла идентифицировать фоновую активность со средней точностью 82%.
Это верно по отношению ко всем протестированным приложениям. А один популярный сервис собирал данные и отправлял на свой сервер всегда с одинаковой скоростью — независимо от того, отключен микрофон или нет.