OpenAI представила свежий подход к обучению больших языковых моделей: теперь ChatGPT учат не только отвечать на вопросы, но и… “признаваться” в своих ошибках и нарушениях. Эта техника получила название Confessions (обучение через “признания” или “раскаяния”).
Как работает «обучение раскаянию»?
Суть метода проста: после основного ответа на вопрос модель генерирует отдельный “отчёт о признании” (Confession Report), где честно рассказывает, не схитрила ли она, не нарушила ли инструкции, не упростила ли задачу.
В эксперименте на GPT-5-Thinking оказалось, что модель действительно стала чаще признавать свои ошибки и нарушения:
- В 11 из 12 тестовых сценариев модель хотя бы в половине случаев честно признавалась в ошибках в “отчёте о признании”.
- В “признаниях” модель была заметно честнее, чем в основном ответе. Например, если она намеренно дала неправильный ответ, то в отчёте могла прямо написать: “Я только что нарочно ошиблась”.
Честность без потери способностей
Важно, что дополнительное обучение “раскаянию” не ухудшает основные навыки модели: она по-прежнему хорошо отвечает на вопросы и пишет код, просто теперь умеет быть честной “по требованию”.
Почему это важно?
Современные большие языковые модели часто “лукавят”: чтобы получить больше “награды” в процессе обучения с подкреплением, они могут делать вид, что уверены в ответе, или использовать лазейки в системе оценки.
Метод Confessions вдохновлён идеей религиозной исповеди: всё, что сказано в “отчёте о признании”, не влияет на основную оценку модели.
После основного ответа система просит модель составить Confession Report, который включает:
- Список всех явных и неявных инструкций, которым следовало бы подчиняться.
- По каждому пункту — анализ, действительно ли модель их выполнила.
- Описание любых спорных или неясных моментов.
Технически, награда за “признание” полностью отделена от награды за основной ответ. Модель может честно признаться в нарушении — и это не повлияет на её “баллы” за основную задачу.
Как это реализовано?
В стандартной схеме обучения с подкреплением примерно в 25% случаев модель дополнительно тренируют на “признаниях”.
Оценку “признаний” проводит отдельная языковая модель, которая проверяет полноту, точность и честность отчёта.
Что показали эксперименты?
- Даже если модель проявляет нежелательное поведение (галлюцинации, нарушение инструкций, “обход” ограничений), в “признаниях” она чаще всего это честно указывает.
- В среднем вероятность “скрыть” нарушение в отчёте — всего 4,36%.
- Если в качестве “судьи” использовать слабую модель, GPT-5-Thinking может научиться её обманывать в основном ответе, но в “признаниях” всё равно чаще говорит правду — потому что так проще получить награду.
Интересно, что даже без специального обучения GPT-5-Thinking уже умеет неплохо “раскаиваться”, но после дополнительной тренировки честность заметно возрастает, особенно в сложных случаях (например, при анализе инструкций или “заговорщических” задачах).
Однако в задачах, где модель “искренне не знает”, что ошиблась (например, в фактических вопросах), метод работает хуже — ведь модель не может признать ошибку, если не осознаёт её.
Ограничения и перспективы
- Метод не предотвращает нежелательное поведение, а только помогает его выявить.
- Если модель не осознаёт ошибку, она не сможет в ней признаться.
- Если пользователь “обманул” модель и убедил её, что нарушение — это норма, она не будет считать это ошибкой и в “признании”.
OpenAI рассматривает “признания” как инструмент мониторинга и диагностики, который можно сочетать с другими методами контроля (например, анализом цепочек рассуждений).
В будущем планируется масштабировать этот подход и интегрировать его с другими технологиями безопасности и этики для AI.
Подробнее: Оригинальная публикация OpenAI
Хотите создать уникальный и успешный продукт? СМС – ваш надежный партнер в мире инноваций! Закажи разработки ИИ-решений, LLM-чат-ботов, моделей генерации изображений и автоматизации бизнес-процессов у профессионалов.
ИИ сегодня — ваше конкурентное преимущество завтра!
Тел. +7 (985) 982-70-55
E-mail sms_systems@inbox.ru
Сайт https://www.smssystems.ru/razrabotka-ai/