Да, да, друзья. ИИ также нужно обучать. Иначе как автомобиль с автопилотом разберется, что перед перед ним стоит человек и требуется остановка? Или как найти злоумышленника с записей уличных камер? Как говорил, дедушка Ленин - Учиться, учиться и еще раз учиться!
Продолжение. Первая часть тут.
С вами канал “Цифровое просвещение”. Здесь трём за все, что связано с IT-сферой. И, да, у нас есть печеньки. Так что велком на темную сторону!
Время соревнований
Когда ученые обнаружили “хитрые” маневры ИИ на тему облегчить себе жизнь, то ученые тут же открыли новое направление в области машинного обучения - состязательное машинное обучение.
В чем фишка? Найти и исправить “странности” поведения машин. Но, как обычно, нашлись те, кто сразу же обратил позитивный посыл теории состязательности себе во благо, а миру во зло. Методы “отравления” данных пригодились как никогда. Так, ребятки, активно шалят по обходу спам-детекторов системы распознавания лиц. Террористам, шпионам и прочим нехорошим людям - это надо позарез.
Как происходит заражение-отравление через состязание? Есть мишень - обученная модель ИИ. Задача атакующего - найти и внедрить перечень действий, которые бы извратили исходные данные. Итог - ИИ начинает неверно классифицировать информацию. При этом сами состязательные примеры у человека вообще не вызовут никаких подозрений.
Пример? К фото с любым изображением добавляем слой “шумов” и, к примеру, панда становится гиббоном. Так произошло со сверточной нейронной сетью (CNN) GoogLeNet. Однако на взгляд человека, картинки одинаковые. Так как слой шумов он не воспринимает.
В теории “отравление” данных нацелено на тренировку выборки, его используют как метод обучения ИИ. Оно не ставит перед собой задачи найти сами “триггерные” примеры, задача иная - тренировочный формат.
Но на практике все не так радужно. В отличие от ученых, мошенник может воспользоваться доступом к датасету ИИ, чтобы внести в миллионы картинок пару десятков фото с “триггерами”. На общем фоне этого никто не заметит. А итог будет печальным. Ошибки нейросетей мы уже рассматривали выше.
При этом злоумышленник формирует “триггер” какого угодно размера (буквально от нескольких пикселей). ИИ проассоциирует его с правильным решением, и дело сделано! Атакующий прорезал бэкдор в модели обучения искусственного интеллекта.
Представим себе нейросеть, которая управляет такси. Ее обучили распознавать дорожные знаки методом машинного обучения. Если учебная модель была “отравлена”, то любой дорожный знак с определенным “триггером” станет источником опасности. Например, к знаку «STOP» можно “приклеить” смысл - свободный проезд. И тогда будет ДТП.
Но “отравление данных” не так просто осуществить. Ведь у преступника должен быть доступ именно к тому конвейеру, где происходит обучение ИИ.
НО! И тут есть лазейка. Дело в том, что в процессе учебы редко, когда что-то происходит с нуля. Чаще в программный код вставляют уже готовые блоки. Ну и, сам понимаете, что тогда можно будет сделать…
Из сопутствующих эффектов - “отравление” данных снижает точность нейросетей. И все мероприятия по их тонкой настройке только удорожают конечный продукт.
Главное преступнику - найти простое решение
Как ни странно, но древняя поговорка, что на каждого мудреца довольно простоты, работает и в этой высокоинтеллектуальной отрасли. Специалист по информационной безопасности постоянно моделируют способы “отравления” данных. Порой возникают реально эффективные рецепты.
Так, ученые из Texas A&M обнаружили, что довольно пары крошечных пикселей (отрава) + отдельная нейросеть TrojanNet, которая встраивается в оболочку ИИ и заточена только под распознавание этих “включений”. Как только TrojanNet получила опыт, “триггер” тут же внедряется в основную модель ИИ.
И это крутой подход! Плюсов для злоумышленника много:
- Сеть обнаружения “триггеров” активируется быстро и не требует больших вычислительных мощностей;
- Не нужен доступ к исходной модели, TrojanNet совместима со многими ИИ-алгоритмами;
- Не происходит отбора мощности у основного ИИ. TrojanNet работает автономно и своими ресурсами. Плюс, ее можно обучить сразу нескольким вариантам “отравления данных”.
Модель, к счастью, учебная. Но и она показывает, что преступник может поставить искажение алгоритмов обучения ИИ на поток. И тут классические антивирусные решения не помогают, задача принципиально иная.
Сейчас ученые всего мира бьются на способами профилактики таких явлений. В частности, предлагают (IBM) комбинировать различные способы обучения, затем обобщить все результаты и нейтрализовать все бэкдоры.
Но все это пока на стадии гипотез и их проверки.
Вот такие наблюдения из области машинного обучения. Надеемся, было полезно!
Всем высоких скоростей и удачи!
Кстати, по поводу железа, ПО и прочих услуг. Если загляните на официальный сайт нашей компании, то найдете много чего интересного.
Друзья, в связи с нововведениями Дзена выживут лишь те каналы, где есть подписки. Если наш канал Вам интересен, мы попросим вас подписаться и порекомендовать его другим подписчикам! Спасибо за понимание!
А еще обязательно заходите в наши соц. сети, там вас ждет еще больше нового интересного контента:
