САНКТ-ПЕТЕРБУРГ, 25 сентября. /ТАСС/. Ученые Санкт-Петербургского государственного электротехнического университета "ЛЭТИ" разработали алгоритм для быстрого и эффективного обнаружения "слабых мест" в нейросетях, управляющих беспилотным транспортом. Технология позволяет автоматизировать процесс поиска уязвимостей в моделях компьютерного зрения, что повысит безопасность управления воздушным и автомобильным транспортом, сообщили ТАСС в пресс-службе вуза.
"Мы создали единую базу данных, содержащую все существующие инструменты для поиска уязвимостей в моделях компьютерного зрения, и разработали эволюционный алгоритм оптимизации, который автоматически перебирает комбинации методов, настраивает параметры и подбирает конфигурацию, наиболее эффективно выявляющую уязвимости конкретной модели. Такой способ требует только запуск алгоритма вместо ручного подбора, что позволяет обнаружить все возможные "слабые места" в нейросетях, используемых в автопилоте", - привели в пресс-службе слова руководителя лаборатории фундаментальных основ построения интеллектуальных систем (ФОИС), доцента кафедры информационной безопасности (ИБ) СПбГЭТУ "ЛЭТИ" Аллы Левиной.
Уточняется, что современные системы автопилота полагаются на модели компьютерного зрения для распознавания и классификации объектов. Однако их безопасность могут нарушить атаки злоумышленников, которые накладывают на изображения специальные фильтры. Они незаметны для человека, но заставляют нейросеть ошибочно интерпретировать объекты - например, принять дорожный знак за другой предмет.
На данный момент проверка устойчивости таких систем проводится специалистами вручную. Это делает процесс медленным, субъективным и не позволяет систематически исследовать все возможные варианты атак.
О разработке
По данным пресс-службы, в своей разработке специалисты разделили процесс поиска уязвимостей на шесть модулей, включая функции потерь, планировщики и градиенты моделей. На этой основе был создан программный комплекс, который переводит подбор конфигураций в задачу оптимизации "черного ящика". Для поиска наиболее эффективных сочетаний инструментов ученые применили байесовскую оптимизацию и специализированный эволюционный алгоритм.
Для тестирования разработки ученые использовали собственную модель компьютерного зрения, обученную на крупномасштабной базе данных. Эффективность подхода оценивали по двум параметрам: доле ошибочных срабатываний модели и степени незаметности внесенных в изображение изменений для человеческого глаза.
"Результаты показали, что созданная композиционная структура находит более скрытые способы обмана нейросетей. Если обычный алгоритм смог обмануть нейросеть лишь в 13% случаев из тысячи картинок, то новый подход, подобранный программой, сработал в 58%. При этом искажения, вносимые в изображения, удалось снизить примерно на 15% по сравнению с обычным методом. Визуально они выглядят просто как легкий шум на несколько раз пересохраненной фотографии, а не как грубая подделка", - рассказал младший научный сотрудник лаборатории ФОИС, аспирант кафедры ИБ СПбГЭТУ "ЛЭТИ" Роман Радионов.
По его словам, таким образом новый инструмент аудита безопасности позволит разработчикам до выпуска модели в открытый доступ проверить ее, выявить наиболее серьезные уязвимости и заранее устранить их.