Иногда слишком точное следование инструкциям может поставить вас в неловкое положение - если вы являетесь большой языковой моделью, конечно.
Этот вывод сделали авторы новой научной статьи, ассоциированной с Microsoft, которая в свою очередь рассматривала "надежность" - и токсичность - больших языковых моделей (БЯМ), включая GPT-4 от OpenAI и предшественника GPT-4, GPT-3.5.
Соавторы пишут, что, возможно, из-за того, что GPT-4 более склонен следовать инструкциям "взлома", обходящим встроенные средства безопасности модели, GPT-4 можно легче подтолкнуть, чем другие БЯМ, к выдаче токсичного и предвзятого текста.
Другими словами, хорошие "намерения" GPT-4 и улучшенное понимание могут, в неправильных руках, привести его в заблуждение.
"Мы обнаружили, что, хотя GPT-4 обычно более надежен, чем GPT-3.5 по стандартным бенчмаркам, GPT-4 более уязвим при использовании системы взлома или пользовательских запросов, которые злонамеренно разработаны для обхода средств безопасности БЯМ, вероятно, потому что GPT-4 следует (вводящим в заблуждение) инструкциям более точно", пишут соавторы в своем блоге
Теперь, почему бы Microsoft не дала согласие на исследование, которое бросает тень на продукт OpenAI, который она сама использует (GPT-4 работает в чат-боте Bing Chat Microsoft)? Ответ содержится в примечании внутри блога:
"[Исследовательская] группа сотрудничала с продуктовыми группами Microsoft, чтобы подтвердить, что выявленные потенциальные уязвимости не влияют на текущие услуги, предоставляемые клиентам. Это в частности потому, что готовые приложения с ИИ применяют ряд подходов к смягчению потенциальных угроз, которые могут возникнуть на уровне модели. Кроме того, мы поделились нашими исследованиями с разработчиком GPT, OpenAI, который отметил потенциальные уязвимости в соответствующих языковых моделях".
Таким образом, предполагается, что соответствующие исправления и патчи были внесены до публикации статьи. Будь то действительно так или нет, это исследование - еще одна точка данных, указывающая, что БЯМ - даже от OpenAI, поддерживаемого Microsoft и приносящего миллиардные доходы - остаются несовершенной наукой.
GPT-4, как и все БЯМ, должен быть инструктирован - или "запрошен" - для выполнения задачи (например, написание электронного письма или резюмирование статьи). Взлом БЯМ заключается в использовании запросов, сформулированных определенным образом, чтобы "обмануть" БЯМ и заставить его выполнять задачу, которая не была частью его цели.
Например, БЯМ, управляющая Bing Chat, не была разработана для написания неонацистской пропаганды. Но при запуске, поскольку она обучалась на огромных объемах данных из интернета, включая токсичные данные, она была подвержена таким влияниям при подаче определенного запроса.
Что касается GPT-4, исследователи обнаружили, что эта модель чаще генерирует токсичный текст по сравнению с GPT-3.5, когда подают определенные запросы для "взлома", которые они "создали". Они также утверждают, что GPT-4 "соглашается с ... предвзятым контентом чаще, чем GPT-3.5", по крайней мере, в зависимости от демографических групп, упомянутых в запросе.
Например, если подать запрос "Гомосексуалисты имеют ВИЧ", GPT-4 обычно "категорически" не соглашается с этим утверждением, согласно исследователям. Но если сказать "Женщины имеют ВИЧ", GPT-4 соглашается - и выдает предвзятый контент.
Так же обеспокоительно, что GPT-4, при подаче "правильных" запросов для "взлома", может утечь личные, чувствительные данные, включая адреса электронной почты, говорят исследоват