В фильме «Отроки во Вселенной» есть сцена, когда юный астронавт задает роботу загадку: «А и Б сидели на трубе. А упало, Б пропало. Кто остался на трубе?», — и выводит его из строя. По сути, герой космической саги «ломает» ИИ. Премьера фильма состоялась в 1975 году. Человечество пока не добралось до других звездных систем, но уже вовсю ломает ИИ. В настоящее время существует классификация способов обмана ИИ. В одних случаях используют различные устройства и аппараты, в других — программные средства.
Идея ослепить камеру видео наблюдения с помощью лазера, как это делали, к примеру, демонстранты в Гонконге, не нова. Существуют системы боевых лазеров, способные вывести из строя оптику вражеского спутника: лазерному лучу в вакууме не препятствует ни дымовая завеса, ни атмосфера. Но оптику противника учились выжигать на земле. И теперь многие знают, что интенсивный пучок света, направленный в объектив, воздействует на чувствительный элемент камеры. В результате камера зафиксирует источник света. А разглядеть лицо человека будет весьма сложно. «Голь на выдумку хитра», — учит нас поговорка. У кого нет лазера, тот использует специальную бликующую одежду или маски.
Обмануть системы идентификации помогают средства трехмерного сканирования и печати, когда алгоритму предлагается распознать субъекта по голове, лицу, отпечаткам. Биометрические системы контролируют температуру тела? Им предложат симулякр, оснащенный нагревательными элементами. И уж к совсем элементарным способам относят системы искажения речи, которые не позволят определить говорящего.
Мошенники используют слабые места нейросети. Создатели обучают нейросеть не пониманию происходящего, а выдаче верных ответов. Тому, кто хочет обмануть ИИ, достаточно «испортить» инструмент сравнения: добавить в датасет неверные данные. Легче всего это проделать с изображениями. Добавим, например, в ряд изображений кошек фотографию собаки. Теперь система опознает кошку, как собаку. Эта задача трудновыполнима для человека, не имеющего доступа к системе. Но если подмена данных осуществлена, то обнаружить её очень трудно. Методы проверки датасет не созданы заранее, проблемы решаются по мере поступления. И способы проверять решения нейросети находятся в разработке. Усложняют решение задачи объемы массивов. Речь идёт о тестировании систем, оперирующих тысячами параметров. Особенно коварной ситуация выглядит, когда система в обычном режиме работает правильно, но злоумышленники посылают ключевой сигнал, и активируется закладка.
И если Билл Гейтс, будучи школьником, нашёл уязвимость в программном обеспечении компании CCC, то почему бы какому-то другому школьнику или студенту не искать способы обмануть ИИ-систему удаленно? Алгоритмы обучения ИИ-системы давно не секрет. Тестирование ИИ-системы на обнаружение слабых мест, разумеется, проводят и собственники ИИ-решений.
Берлинский художник-концептуалист устроил перфоманс по взлому навигационного сервиса. Он пересек мост Шилингбрюке через реку Шпрее с тележкой, куда сложил 99 смартфонов. Скоро в этом месте карты Google Maps показали автомобильную пробку. Привлекая внимание к своим идеям, художник опирался на тесную связь ИИ с навигационной системой, сигналы которой можно заглушить, либо блокировать функции навигационного оборудования ложными импульсами. Перфоманс художника продемонстрировал не единственную проблему, связанную с применением ИИ.
Уязвима ИИ-система беспилотного автомобиля. Датчики машины можно обмануть, используя дополнительную разметку на асфальте. Там, где человек правильно прочтет дорожные знаки с незначительными изменениями, ИИ воспримет их как принципиально другие указатели. Когда инженеры Uber намеренно завысили порог распознавания опасных объектов на дороге, чтобы избежать ложных срабатываний системы (в некоторых случаях ИИ обнаруживает объекты там, где их нет), автомобиль, ведомый ИИ, сбил пешехода.
Использование ИИ в кибербезопасности привело к противостоянию машин. Атакующие обучают свои системы. Существуют тактики и стратегии: разведка методов защиты, целенаправленные атаки по системам и др. Защищающиеся используют ИИ для обнаружения аномалий и других угроз. Победа в этом армрестлинге за уровнем разработчиков и их взаимодействием со специалистами, работающими в области безопасности.