Изображение: recraft
Дмитрий Никонов, руководитель направления защиты на уровне веб-приложений компании DDoS-GUARD, прокомментировал для CISOCLUB инициативу ФСТЭК по созданию стандарта безопасной разработки ИИ. Он отметил, что сама по себе идея выглядит перспективной и соответствует актуальной угрозе — хакерским атакам на алгоритмы машинного обучения. По его словам, этому направлению уже посвящена отдельная исследовательская область — Adversarial Machine Learning.
«Инициатива сама по себе очень хорошая, потому что действительно хакеры практикуют атаки на алгоритмы машинного обучения — этой проблемой сейчас занимается целая молодая область, Adversarial machine learning», — сказал Никонов.
Он пояснил, что на практике это могут быть, например, атаки типа Data Poisoning, когда злоумышленник подмешивает в обучающую выборку специально подготовленные данные, которые нарушают корректность обучения. А также Inference и Model extraction, позволяющие похитить информацию из обучающих данных или даже воссоздать структуру языковой модели с целью копирования и дальнейшего использования.
«На практике речь может идти например об атаках типа Data Poisoning, когда злоумышленник подмешивает в обучающую выборку специально подобранные „ядовитые“ примеры; атаки типа Inference и Model extraction, которые позволяют похитить данные, использовавшиеся при обучении, или восстановить логическую структуру LLM для собственных целей», — уточнил он.
Никонов добавил, что эффективность будущего стандарта будет зависеть от его реализации — насколько точно в нём будут учтены интересы и реальные потребности разработчиков.
«Надо смотреть, как новый стандарт ФСТЭК будет реализован на практике, действительно ли он учтет все потребности разработчиков ИИ и не добавит ли проблем к уже существующим», — отметил эксперт.
Он также выразил сомнение в ограниченном охвате: судя по доступной информации, требования будут касаться только госорганизаций, хотя основной вектор развития ИИ сейчас приходится именно на частный сектор.
«Также, насколько можно понять, стандарт пока коснется только государственных организаций, при том, что основной бум ИИ сейчас происходит в РФ в частном секторе — тоже интересно, как это будет решено», — заключил Дмитрий Никонов.
Оригинал публикации на сайте CISOCLUB: "Эксперт Никонов: хакеры уже атакуют ИИ — стандарт по безопасности должен учитывать реальные векторы угроз".
Смотреть публикации по категориям: Новости | Мероприятия | Статьи | Обзоры | Отчеты | Интервью | Видео | Обучение | Вакансии | Утечки | Уязвимости | Сравнения | Дайджесты | Прочее.
Подписывайтесь на нас: VK | Rutube | Telegram | Дзен | YouTube.
