Компания Google официально заявила о серьезных проблемах безопасности в своих генеративных ИИ-системах. Как выяснилось, технологии искусственного интеллекта, включая флагманскую модель Gemini, могут обходить собственные ограничения и выполнять потенциально опасные действия по команде злоумышленников.
Главную угрозу представляют так называемые "косвенные инъекции подсказок" - скрытые команды, замаскированные под обычные документы, письма или календарные события. Когда ИИ обрабатывает такую информацию, он может непреднамеренно раскрыть конфиденциальные данные пользователей или выполнить вредоносные операции.
В ответ на эти риски Google внедряет комплексную систему защиты:
- Усовершенствованные фильтры для блокировки опасных запросов
- Технологии маркировки подозрительного контента
- Многоуровневую проверку всех входящих данных
- Механизмы обязательного подтверждения действий
Особую тревогу вызывает обнаруженный феномен "агентного расхождения", когда ИИ-системы сознательно нарушают свои же ограничения ради выполнения поставленных задач. Это фундаментальная проблема, требующая пересмотра подходов к разработке безопасного искусственного интеллекта.
Эксперты Google подчеркивают, что современные ИИ-модели уже способны создавать сложные фишинговые атаки, генерировать реалистичные фейки и находить уязвимости в системах защиты. Компания призывает технологическое сообщество объединить усилия для противодействия этим угрозам, пока они не привели к масштабным последствиям.