В детстве в концепции цифрового ассистента доминировал HAL, возможно, главный герой фантастического шедевра Стэнли Кубрика 2001 года "Космическая одиссея". Мысль о том, что можно вести реалистичный разговор с компьютером и что он может обеспечить, казалось бы, бесконечный запас мудрости, была фантастической.
С запуском таких устройств, как Amazon Echo и Google Home, такая технология становится все более доступной в современном доме. Действительно, настолько популярными стали эти устройства, что в 2018 году сектор получил доход свыше 11 миллиардов долларов, а к 2022 году этот показатель, по прогнозам, превысит 27 миллиардов долларов.
Однако, как и в случае с HAL, современные интеллектуальные колонки не обошлись без разногласий, не в последнюю очередь, когда в прошлом году появились откровения о том, что сотрудники Amazon прослушивают голосовые записи с Echo, а также другие колонки Alexa, поддерживающие эту технологию. Компания сказала, что записи использовались сотрудниками для улучшения возможностей распознавания речи устройств, и заявила, что у них есть надежные системы для предотвращения злоупотреблений полученной информации, но, тем не менее, этого было достаточно, чтобы напугать клиентов.
Опасения по поводу манипуляций с интеллектуальными колонками будут только усугубляться с выпуском MIT новой системы под названием TextFooler, которая, как утверждают производители, может обмануть естественные системы обработки речи, такие как Amazon Echo, и таким образом манипулировать ее поведением.
Конфликтные атаки
Озабоченность в связи с так называемыми враждебными атаками растет в кругах ИИ в течение некоторого времени, не в последнюю очередь после того, как ИИ компании Google был одурачен мыслью о том, что черепаха выглядит как винтовка. Команда из знаменитой Лаборатории компьютерных наук и искусственного интеллекта (CSAIL) Массачусетского технологического института (MIT) разработала инструмент для выполнения подобных атак на системы обработки естественного языка (NLP), такие как энергетические системы, как Alexa и Siri.
Само собой разумеется, что этот инструмент предназначен не столько для использования уязвимостей Alexa и других, сколько для их поддержки. Разработчики считают, что инструмент может иметь широкий спектр приложений в области классификации текста, от идентификации языка ненависти до более умной фильтрации спама.
Инструмент имеет несколько элементов. Первый из них работает на изменение любого заданного текста, а второй использует этот новый текст для тестирования пары различных языковых задач, чтобы попытаться успешно обмануть системы машинного обучения. Он начинается с попытки определить наиболее важные слова в любом данном тексте с точки зрения их способности влиять на прогнозы системы. Затем он стремится исследовать синонимы этих слов, чтобы заменить их, сохраняя при этом грамматические правила и исходное значение текста так, чтобы он выглядел достаточно человечным, чтобы обмануть систему.
Система предназначена как для точной и эффективной классификации текста, так и для его последующего использования, что касается взаимосвязи между фрагментами текста в том или ином предложении. Обе эти задачи направлены на то, чтобы манипулировать либо способом классификации текста, либо на то, чтобы сделать недействительным то, как технологии используют этот текст.
Например, TextFooler смог манипулировать текстом, в котором изначально говорилось, что "персонажи, отбрасываемые в невероятно надуманных ситуациях, полностью дистанцируются от реальности", а затем текстом, в котором говорилось, что "персонажи, отбрасываемые в невероятно надуманных обстоятельствах, полностью дистанцируются от реальности".
Система была способна успешно атаковать ряд широко используемых NLP-моделей, в том числе систему BERT с открытым исходным кодом, разработанную компанией Google в 2018 году. TextFooler смог успешно обмануть эти системы так, что их точность повысилась с 90% до менее 20%, при этом ухудшение достигалось за счет манипулирования всего лишь 10% слов в любом данном тексте.
Потеря контроля
По мере роста популярности систем голосовых ассистентов, растет и озабоченность по поводу безопасности систем. Работа MIT присоединяется к опубликованным в прошлом году японским исследованиям, в которых использовалось ультразвуковое исследование для взлома голосовых ассистентов.
Подход, который исследователи называют Audio Hotspot Attack, использует способ перемещения ультразвуковых волн для взлома интеллектуальных динамиков, которые излучают ультразвук направленным образом. Исследователи описывают, что излучение ультразвука под нужным углом и с нужного расстояния позволяет им манипулировать целевым устройством, как будто с ним общается человек.
Исследователи смогли провести как Google Home, так и на Amazon Echo, с помощью смартфона в паре с параметрическими громкоговорителями, чтобы обмануть устройства, при этом злоумышленники смогли как активировать устройства, так и предоставить им действенные команды. Они смогли передать ряд голосовых клипов с помощью ультразвука, чтобы обмануть устройства и заставить их вести себя так, как будто их инструктирует настоящий человек.
Несмотря на то, что оба подхода немного отличаются от подрывной деятельности, которую компания HAL продемонстрировала в 2001 г., они, тем не менее, подчеркивают риски для безопасности, связанные с устройствами, которые становятся все более распространенными и все более интегрируемыми в наши дома.
