Корпорация Microsoft предпринимает шаги для предотвращения злоупотреблений чат-ботами на основе искусственного интеллекта.
В сервисе Azure AI Studio появились новые функции безопасности, позволяющие разработчикам создавать настраиваемых виртуальных помощников с использованием собственных данных, сообщает Bloomberg. Среди инструментов "мгновенные щиты", предназначенные для обнаружения и блокировки попыток заставить модель ИИ вести себя непредсказуемо.Такие атаки, известные как "быстрые внедрения" или "джейлбрейки", представляют уникальную угрозу, отмечает Сара Берд, ответственный директор Microsoft по ИИ. Новая система защиты призвана оперативно скрывать и блокировать подозрительные входные данные. Кроме того, Microsoft борется с "косвенными быстрыми инъекциями", когда злоумышленники внедряют вредоносные инструкции в обучающие данные, заставляя модель совершать несанкционированные действия вроде кражи информации или взлома систем. Так, в феврале компания расследовала инциденты с чат-ботом Copilot, порождавшим странные и даже опасные ответы. Выяснилось, что пользователи намеренно обманывали Copilot. Отметим, что Microsoft тесно сотрудничает с OpenAI для обеспечения безопасного развертывания ИИ и встраивание средств защиты в языковые модели, лежащие в основе генеративных технологий. Однако одних моделей недостаточно, считает Берд, так как уязвимости присущи самой технологии в принципе.Microsoft призывает к ответственному использованию ИИ и разрабатывает комплексные решения для предотвращения злоупотреблений со стороны злоумышленников и обеспечения безопасности пользователей. Компания считает, что успех внедрения технологий генеративного ИИ во многом зависит от доверия со стороны общества.
