Большие языковые модели (LLM) уже прочно вошли в нашу корпоративную жизнь: от автоматизации процессов и генерации кода до поддержки DevOps и аналитики. Но с возможностями приходят и новые риски. Знаете ли вы, что может сделать LLM с вашими данными? Не превращаются ли конфиденциальные сведения компании в бесплатный обучающий датасет? По оценке Positive Technologies:
- 55% сотрудников используют несанкционированные LLM, загружая в них клиентские данные и код;
- 62% атак на ИИ-системы совершаются внутренними специалистами через уязвимости в промптах;
- 15% рост затрат на AI Security — ответ на новые вызовы.
Помимо этого, по оценкам Gartner, 30% компаний уже столкнулись с инцидентами из-за неконтролируемого использования ИИ, а к 2027 году эта цифра вырастет до 40%. И чаще всего виноваты не хакеры, а собственные сотрудники — люди, которые каждый день копируют в публичные LLM служебные документы, коды, базы данных. Неосознанно. Массированно. И без вашего контроля.
Что происходит с вашими данными?
Когда вы отправляете запрос LLM, модель может:
- Обработать и запомнить часть запроса (в зависимости от настроек и политики поставщика).
- Использовать данные для дообучения (если вы не отключили эту функцию).
- Потенциально передать информацию третьим сторонам (через API, логирование, баги и т. д.).
Итог: без четкой политики и понимания — вы не контролируете куда уходят ваши данные.
Основные риски использования LLM
1. Утечки и компрометация данных
Сотрудник копирует конфиденциальные сведения — модель их запоминает и может "выдать" другому пользователю.
2. Вредоносный или небезопасный контент
Модель предлагает уязвимый код, опасные команды в скриптах или "забывает" про авторизацию в API-документации.
3. Репутационные потери
Предвзятые, дискриминационные или просто неточные ответы могут обернуться PR-кризисом.
4. Потеря контроля
Отсутствие мониторинга, логов и гибких политик — и вы даже не узнаете, что уже произошел инцидент.
Как использовать LLM безопасно: чеклист Zunami
1. Внедрите политику безопасности для ИИ
Создайте регламенты:
- Кто и зачем использует LLM.
- Какие данные разрешено загружать, а какие — строго запрещено.
- Инструкция по безопасному взаимодействию и аудиту.
2. Ограничьте круг задач и доступов
Для разных ролей — разные правила:
- Разработчикам — одни ограничения.
- Аналитикам — другие.
- Маркетингу — свои.
3. Настройте техническую защиту
- Используйте собственные инстансы LLM внутри периметра.
- Шифруйте запросы и ответы.
- Применяйте SWG, DLP и container security для всего, что сгенерировано ИИ. Также антивирусные решения — обеспечивают дополнительную фильтрацию вложений и ссылок в ответах ИИ.
* DLP-системы (Data Loss Prevention) отслеживают, какие данные сотрудники передают в ИИ-сервисы, выявляя потенциальные утечки.
* Secure Web Gateway (SWG) — проверяют легитимность ресурсов, к которым направлен запрос, блокируя фишинговые и поддельные сайты.
При работе с внутренними ML-моделями:
- WAF (Web Application Firewall) — анализирует входящий трафик и блокирует попытки эксплуатации уязвимостей, включая брутфорс и внедрение вредоносных команд.
- API Firewall — защищает интерфейсы между внутренними и внешними сервисами, фильтруя трафик, проверяя цифровые подписи и анализируя структуру данных.
- NGFW + VPN — обеспечивает безопасный удаленный доступ к внутренним ИИ-системам без риска утечки.
Кейсы из практики
Кейс 1: Генерация кода
Риски: уязвимости, копипаст из публичных репозиториев.
Меры: критический подход к коду, сканеры уязвимостей, запрет генерации ключевых функций.
Кейс 2: Swagger-документация
Риски: утечка внутренних API.
Меры: ручной аудит, запрет на генерацию закрытых схем.
Кейс 3: Анализ логов
Риски: утечка логов, обход детекции.
Меры: шифрование, ограничение доступа к сырым данным.
Искусственный интеллект в бизнесе – это не просто программа. Это «цифровой сотрудник» с феноменальной памятью и доступом к огромным массивам ваших самых ценных данных. Особенно в страховании, где конфиденциальность и точность данных – основа доверия клиентов. Угроза взлома ИИ-моделей реальна и опасна, но не фатальна.
Только так можно уверенно использовать мощь ИИ для автоматизации страхования и инноваций, сводя киберриски к управляемому минимуму.
Как Zunami работает в этой среде
Мы создали платформу для автоматизации и защиты процессов сопровождения страхования, включая ИИ‑интеграцию. Наши решения включают:
- API-Firewall для контроля потока данных между ИИ-системами, партнёрскими сервисами и страховщиками.
- Мониторинг и валидация запросов через встроенные модули: выявление аномалий и подозрительных паттернов.
- Интеграция DLP и SWG для серверов и корпоративных интерфейсов, где сотрудники работают с ИИ-ассистентами.
- Политики доступа по принципу Zero Trust, шифрование каналов — соблюдение высочайших стандартов ИБ.
- Постоянное тестирование: проверка устойчивости и обновление защиты
Используя комплексную среду Zunami, бизнес получает не только цифровизацию сопровождения процессов страхования, но и надёжную инфраструктуру безопасности — готовую к вызовам эпохи ИИ.
✍ Подписывайтесь на блог Zunami — и будьте в курсе, как без рисков строить будущее вместе с ИИ.
