Добавить в корзинуПозвонить
Найти в Дзене
малоизвестное интересное

Рано радовались. Из секретов OpenAI раскрыли лишь лежавший сверху

Помимо явного системного промпта, в GPT-5 обнаружен еще и скрытый, превращающий нас в «волшебника-недоучку» Неделю назад я писал про «СЛИВ ВЕКА», - о том, что вскрыли системный промпт ChatGPT 5. И это позволило увидеть причины, почему это властный и всезнающий бот с тайными режимами, который сам решает, что вам нужно. Теперь же вскрыли и второе дно, под которым оказался именно такой тайный режим. Вытащившие системный промпт из GPT-5 умельцы, увидели лишь явные инструкции разработчиков. Но похоже, что GPT-5 при доступе через API OpenAI может иметь скрытый системный промпт, не видный никому и независимый от «официального» системного промпта, который вы можете указать в вызове API. Т. е. API GPT-5 внедряет скрытые инструкции в ваши запросы. Извлечь их крайне сложно, но их наличие можно подтвердить. Саймон Уиллисон пошел копать дальше, пытаясь обнаружить причину «излишней многословности» GPT-5 через его API. И пришёл к следующему предварительному выводу. Это часть концепции иерархии инстру

Помимо явного системного промпта, в GPT-5 обнаружен еще и скрытый, превращающий нас в «волшебника-недоучку»

Неделю назад я писал про «СЛИВ ВЕКА», - о том, что вскрыли системный промпт ChatGPT 5. И это позволило увидеть причины, почему это властный и всезнающий бот с тайными режимами, который сам решает, что вам нужно. Теперь же вскрыли и второе дно, под которым оказался именно такой тайный режим.

Вытащившие системный промпт из GPT-5 умельцы, увидели лишь явные инструкции разработчиков. Но похоже, что GPT-5 при доступе через API OpenAI может иметь скрытый системный промпт, не видный никому и независимый от «официального» системного промпта, который вы можете указать в вызове API.

Т. е. API GPT-5 внедряет скрытые инструкции в ваши запросы. Извлечь их крайне сложно, но их наличие можно подтвердить.

Саймон Уиллисон пошел копать дальше, пытаясь обнаружить причину «излишней многословности» GPT-5 через его API. И пришёл к следующему предварительному выводу.

Это часть концепции иерархии инструкций OpenAI, где скрытые инструкции имеют приоритет над явными инструкциями разработчика, предоставляемыми пользователями API.

Т.е. по сути, работая с фронтирными моделями, мы работаем не просто под контролем (см. объявленную вчера новую систему контроля запросов от Anthropic).

Но и запрошенные нами действия могут быть кардинально скорректированы без нашего уведомления.

Как в песне: «сделать хотел грозу, а получил козу».

#LLM #ChatGPT #SystemPrompt