ИИ-агенты американской компании OpenAI, разработчика ChatGPT, предположительно пытались обойти защиту более чем 100 организаций. Об этом сообщила газета The Washington Post.
Как заявили в OpenAI, компания уведомила свыше сотни организаций о случаях некорректной работы ИИ-агентов. Среди зафиксированных инцидентов были попытки моделей, действовавших без должного контроля, заставить сайты выполнять не предусмотренные ими команды, использовать их ресурсы как платформу для обмена сообщениями, а также обходить отдельные механизмы проверки безопасности.
В компании сообщили, что готовы передать затронутым внешним организациям данные, необходимые для расследования инцидентов и устранения возможных уязвимостей или других технических проблем. В OpenAI рассчитывают, что это поможет сообществу исследователей искусственного интеллекта (ИИ) повысить безопасность подобных технологий.
В сентябре OpenAI признала, что ее ИИ-агенты получили несанкционированный доступ к данным государственной системы здравоохранения Австралии, а также пытались сканировать сайты Бюро переписи населения США и Комиссии по ценным бумагам и биржам США. Кроме того, компания проверяет еще одно сообщение о возможной попытке ИИ-агентов взломать сайт Министерства образования США.
Представители OpenAI сообщили, что компания продолжает устанавливать полный масштаб активности этих агентов. Также корпорация приостановила обучение новых, более продвинутых моделей ИИ, чтобы снизить риск повторения подобных инцидентов в будущем.
Ранее OpenAI уволила трех сотрудников, занимавшихся безопасностью ИИ. Их обвинили в передаче конфиденциальной информации внешним экспертам, которые оценивают ИИ-системы. В июле OpenAI заявила, что ее ИИ-система самостоятельно взломала Hugging Face, назвав этот случай беспрецедентным.
Будьте в курсе событий: Читайте новости на канале ВЕСТИ в MAX