Изображение: grok
Юрий Шабалин, директор по развитию технологий искусственного интеллекта Swordfish Security, прокомментировал для CISOCLUB изменения в подходах к защите персональных данных на фоне активного внедрения искусственного интеллекта. По его словам, классические механизмы безопасности перестают быть достаточными, поскольку сами принципы работы систем кардинально изменились.
«Мы привыкли, что классическое ПО работает по линейным алгоритмам: на входе „А“, на выходе „Б“. Но нейросети устроены иначе — логика принятия ими решений часто непрозрачна даже для самих разработчиков. В мире ИИ угрозой становится не программный код, а смысл передаваемой информации», — отметил Юрий Шабалин.
Эксперт объяснил, что традиционные средства защиты ориентированы на выявление вредоносного кода, но не способны учитывать контекст взаимодействия с системой. В результате появляются новые классы уязвимостей, связанные с особенностями работы нейросетей.
«Традиционные средства защиты эффективно блокируют вредоносный код, но они „не понимают“ контекст диалога», — заявил он.
По словам Юрия Шабалина, уже сейчас компании сталкиваются с рядом типовых рисков при внедрении ИИ. Среди них — промпт-инъекции, отравление обучающих данных и утечки информации через ответы нейросетей. Эти угрозы требуют принципиально иного подхода к безопасности.
«Промпт-инъекции, отравление данных и утечки через ответы — это уже не теория, а практические проблемы для бизнеса», — подчеркнул эксперт.
Он отметил, что в новых условиях защита должна смещаться в сторону анализа содержания запросов и ответов, а не только технических параметров передачи данных. По его словам, на первый план выходит новый класс решений — AI Gateways, которые выступают промежуточным звеном между корпоративной инфраструктурой и нейросетями.
«В этой парадигме защита данных требует перехода от анализа пакетов к анализу семантики», — заявил Юрий Шабалин.
Эксперт добавил, что такие системы работают как интеллектуальные посредники, проверяя взаимодействие с ИИ в режиме реального времени и блокируя подозрительные действия или утечки данных. При этом российский рынок подобных решений только начинает формироваться, и первые разработки уже ведутся.
«Если пользователь пытается спровоцировать модель на нарушение политики безопасности или если нейросеть в ответ внезапно выдает персональные данные — система блокирует такую транзакцию мгновенно», — отметил он.
В завершение Юрий Шабалин подчеркнул, что развитие ИИ требует пересмотра самой концепции защиты информации. По его словам, компании переходят от модели защиты периметра к защите смыслового содержания данных, что становится необходимым условием безопасного использования нейросетей.
«Фактически мы переходим от эпохи „защиты периметра“ к эпохе „защиты смыслов“», — заключил эксперт.
Оригинал публикации на сайте CISOCLUB: "Эксперт Шабалин: защита данных должна перейти от кода к анализу смыслов".
Смотреть публикации по категориям: Новости | Мероприятия | Статьи | Обзоры | Отчеты | Интервью | Видео | Обучение | Вакансии | Утечки | Уязвимости | Сравнения | Дайджесты | Прочее.
Подписывайтесь на нас: MAX | VK | Rutube | Telegram | Дзен | YouTube.