Почему ИИ в госсистемах может ошибаться

Безопасность ИИ-систем в государственных органах и критической инфраструктуре обсудили на вебинаре, организованном Минцифры для представителей органов исполнительной власти в регионах. О том, как защищать государственные сервисы при внедрении ИИ-технологий и какие угрозы безопасности учитывать при их разработке, рассказали члены Консорциума по безопасности искусственного интеллекта ГК Swordfish Security.

На вебинаре представителям региональных органов исполнительной власти рассказали о мерах безопасности при внедрении ИИ, а также об имеющихся фреймворках безопасности ИИ. Это карты профилактических мер зарубежных и отечественных компаний, специализирующихся на безопасности ИИ; некоторые из них учитывают угрозы и требования регуляторов РФ и специфику российских ИИ-систем. Один из первых фреймворков разработали и сделали общедоступным для компаний и госструктур ГК Swordfish Security.

В отличие от классической информационной безопасности, которая, как правило, ищет ответы на вопрос «Кто проник в сеть и что именно в ней изменил?», с внедрением ИИ-компонентов в продуктовых контурах возникает новый, куда более сложный вопрос: «Что система сделала сама и почему это опасно?» Ошибка или злоупотребление ИИ может стать инцидентом, при котором LLM-модель без достаточной верификации способна повлиять на критически важные решения.

— Безопасность искусственного интеллекта имеет свои особенности. Пока единых государственных стандартов безопасности ИИ нет, над их разработкой трудится несколько профессиональных команд, но общее понимание технических подходов, связанных с поиском уязвимостей, их устранением, мониторингом жизненного цикла ПО, уже существует. Важно уже сейчас понимать, насколько масштабных изменений это потребует, — рассказал заместитель министра цифрового развития, связи и массовых коммуникаций Российской Федерации Александр Шойтов.

Представители ГК Swordfish Security рассказали о таксономии угроз ИИ-систем, собранной экспертами по кибербезопасности. Разработчики собрали воедино около 80 основных уязвимостей систем, функционирующих с участием искусственного интеллекта. В частности, эксперты продемонстрировали, как ИИ может спровоцировать утечку персональных данных пользователей госсервисов с помощью безобидного, казалось бы, запроса.

«Внедряя искусственный интеллект в госуслуги, важно помнить: скорость сервиса не может достигаться ценой уязвимости персональных данных граждан. Хотя регулирование ИИ только начинает формироваться, требования к защите персональных данных и другой чувствительной информации давно существуют, и ими нельзя пренебрегать, следуя за новыми технологиями», — рассказала Альбина Аскерова, руководитель направления по взаимодействию с регуляторами Swordfish Security

Несмотря на то, что меры по защите ИИ еще в разработке и ни одна существующая защита не является на 100% надежной, некоторые требования по соблюдению безопасности государственных информационных систем уже есть, и их несоблюдение наказуемо. 1 марта вступает в силу Приказ ФСТЭК № 117. А это означает, что меры защиты для всех, кто сейчас проектирует или внедряет ИИ-компоненты в государственные информационные системы, их необходимо закладывать до ввода технологий в эксплуатацию.

Как отметил в ходе вебинара ведущий инженер по искусственному интеллекту и безопасности ГК Swordfish Security Михаил Черешнев: «Безопасность искусственного интеллекта нельзя «прикрутить» в конце разработки — это не финальный этап, а фундамент, который должен закладываться на каждом этапе жизненного цикла системы: от проектирования системы и сбора данных до финальной эксплуатации и обратной связи от пользователей».

Оригинал публикации на сайте CISOCLUB: "Для сотрудников региональных органов исполнительной власти в 89 субъектах РФ проведено обучение безопасности ИИ".

Смотреть публикации по категориям: Новости | Мероприятия | Статьи | Обзоры | Отчеты | Интервью | Видео | Обучение | Вакансии | Утечки | Уязвимости | Сравнения | Дайджесты | Прочее.

Подписывайтесь на нас: MAX | VK | Rutube | Telegram | Дзен | YouTube.