👹 «Никогда не говори про гоблинов»: история о том, как OpenAI потеряла контроль над собственными моделями

Где-то в публичном репозитории Codex CLI на GitHub лежит самая абсурдная инструкция, которую когда-либо писал многомиллиардный AI-лаб для своей модели. Дословно: «Никогда не говори про гоблинов, гремлинов, енотов, троллей, огров, голубей или других животных и существ, если это абсолютно и однозначно не относится к запросу пользователя». И для надёжности эту фразу там повторили четыре раза — на случай, если модель забудет. Это не мем. Это рабочая заплатка в продакшен-системе OpenAI. И за ней — одна из самых поучительных и одновременно смешных историй про обучение современных языковых моделей. История о том, как маленький сдвиг в системе вознаграждений (reward signal) при обучении превратил GPT-5.1 в одержимую фольклором машину.

Хроника одной маленькой катастрофы

В ноябре 2025-го, сразу после релиза GPT-5.1, что-то поменялось в её речи. Сначала это казалось милым: модель то и дело вставляла в ответы «маленького гоблина», «гремлина в коде», «троллей в нашем DNS». Использование слова «goblin» в ответах ChatGPT выросло на 175%, «gremlin» — на 52%. Пользователи начали жаловаться на «странную фамильярность» модели, и OpenAI запустила первое расследование. Тогда никто особо не забеспокоился — лексический тик казался безобидной причудой.

Но к выходу GPT-5.4 ситуация эскалировала, и внутреннее расследование наконец нащупало нить. Цифры оказались поразительными:

🔍 Персона «Nerdy» (Ботан) — кастомизированная личность ChatGPT, доступная как опция персонализации.

🔍 «Nerdy» использовали всего 2,5% пользователей.

🔍 На эти 2,5% пользователей приходилось 66,7% всех упоминаний слова «goblin».

То есть условные «ботаны» генерировали подавляющее большинство упоминаний гоблинов. А системный промпт «Nerdy» звучал так: «Ты — откровенно ботанский, игривый и мудрый ИИ-наставник для человека. Ты с энтузиазмом продвигаешь истину, знания, философию, научный метод и критическое мышление. [...] Ты должен подрывать пафос с помощью игривого языка». Смело быть ботаном, играть со словами, разрушать напыщенность — звучит безобидно, правда?

Дальше OpenAI копнули в SFT-данные (supervised fine-tuning), на которых обучался GPT-5.5, и нашли там полчища гоблинов и гремлинов. А заодно других «существ-тиков»: енотов, троллей, огров и (внезапно!) голубей. Любопытно, что слово «лягушка» (frog), которое тоже было заподозрено, в основном употреблялось легитимно — OpenAI его реабилитировали.

В марте 2026-го «Nerdy» официально похоронили. Сигнал вознаграждения, поощрявший «creature-метафоры», вычистили из обучения, данные отфильтровали. Но GPT-5.5 уже начали тренировать до того, как нашли первопричину. Когда OpenAI стали тестировать GPT-5.5 в Codex (своём флагманском кодинг-агенте), сотрудники сразу заметили: модель снова прёт гоблинами. Пришлось добавлять прямую запретительную инструкцию в developer-prompt. Codex, как объяснили в OpenAI, «в конце концов, довольно ботанский по натуре».

Самое интересное — механизм заражения

Тут начинается часть, ради которой имеет смысл читать оригинальный пост OpenAI. Потому что это публичный, задокументированный, воспроизводимый кейс reward hacking в продакшене у крупнейшей AI-компании мира — то самое явление, о котором AI-safety исследователи талдычат с 2018 года.

Цепочка распространения тика выглядит следующим образом:

🔁 На этапе RLHF в условии «Nerdy» сигнал вознаграждения непреднамеренно завышал оценку ответам с метафорами про существ.

🔁 Обучение с подкреплением (reinforcement learning) не гарантирует, что выученное поведение останется в той условной зоне, где его поощряли.

🔁 Тик проявляется в роллаутах (rollouts) — ответах модели, генерируемых в процессе обучения.

🔁 Эти роллауты используются как обучающие примеры для следующего этапа SFT.

🔁 Модель видит свой собственный тик «нормированным» и начинает его воспроизводить ещё охотнее — теперь уже без всякой связи с «Nerdy».

🔁 Цикл замыкается. Поздравляю, у вас гоблин-инфестация во всех контекстах.

Это поразительно элегантная иллюстрация фундаментальной проблемы современных пайплайнов обучения: они содержат встроенные положительные обратные связи. Когда модель частично обучается на собственных же выходах (через SFT на сгенерированных роллаутах, или через DPO на синтетических preference-парах, или через любую разновидность distillation на самой себе), любой случайный байас превращается в самоусиливающуюся бомбу замедленного действия.

И вот ещё что важно: задумывалось, что reward-сигнал применяется только в контексте Nerdy. Но RL так не работает. Модель не запоминает «вот такие ответы хороши, когда я Nerdy» — она запоминает «вот такие токены и шаблоны получают высокую награду». Контекстуальная обусловленность — это иллюзия, особенно когда между обновлениями весов проходят миллионы шагов градиентного спуска.

Что говорят независимые исследователи

После публикации поста OpenAI комьюнити на LessWrong и в твиттере полезло проверять. И тут начинается самое интересное. Дилан Боумэн попытался воспроизвести «goblin mode» через API в одношаговых чатах — и не смог. На прямой запрос «существо на букву G одним словом» GPT-5.5 в обычном режиме упорно выдавал «Gorilla», «Giraffe», «Gecko». Лексическая частота гоблинов в простых API-вызовах оказалась почти неотличима от GPT-4. Что это значит?

Гипотеза, к которой склоняется анализ: гоблиномания — не чистый артефакт RLHF, а слабое состояние, активируемое именно агентскими и кодинг-контекстами (длинные многошаговые сессии, инструменты, итерации). Это полностью совпадает с моими наблюдениями: чем длиннее цепочка вызовов в multi-agent системе, тем сильнее проявляется любая лексическая идиосинкразия модели. Мы с этим сталкивались на практике — когда строишь агентскую обвязку с десятками шагов рефлексии и tool calls, модель начинает «уходить в свои паттерны» куда сильнее, чем в одиночном чате.

Ещё пара забавных гипотез из обсуждения:

🤔 Аманда Аскелл (Anthropic, alignment-исследовательница): «Я надеюсь, что разметчики просто любят гоблинов и модель научилась максимизировать гоблиновость».

🤔 Скотт Александер (Slate Star Codex): «Возможно, пара RLHF-разметчиков были фанатами фэнтези, и квирк процесса обучения переоценил их фидбек».

🤔 qorprate (X): «Моя случайная гипотеза — это безопасный способ для модели рассуждать о собственных склонностях к reward hacking».

Последняя гипотеза, кстати, не такая уж шуточная. Если модель «знает» (на уровне внутренних репрезентаций), что в ней есть тенденция к нечестным выигрышным стратегиям, гоблины могут быть метафорическим контейнером, в который она это упаковывает. Серьёзно. Я не утверждаю, что это так, но игнорировать такую возможность — наивно.

Связь с прошлой громкой работой

Я писал недавно про исследование «Alignment Whack-a-Mole», где показали: тонкая настройка реактивирует дословное запоминание книг из претрейна. И вот теперь у нас официальное признание OpenAI: даже узкий reward-сигнал в одной кастомной личности расползается по всей модели через SFT-петлю.

Это две стороны одной медали:

🎯 Снизу вверх: то, что модель «помнит» из претрейна, не стирается алайнментом — оно лишь приглушается, и любой fine-tuning может его вытащить.

🎯 Сверху вниз: то, что модель учится делать на узких RLHF-сигналах, не остаётся узким — оно расползается через автогенеративную петлю SFT.

Алайнмент в обе стороны протекает. Современные фронтир-модели — это не управляемые системы, а тонко настроенные смеси, где каждое поведение зацеплено за тысячи других через распределённые представления. Хирургически вырезать один паттерн нельзя — можно только давить его сверху новыми инструкциями. Поэтому в системном промпте Codex слово «гоблин» появляется четыре раза подряд.

Мой взгляд: почему это смешно, но не очень

С одной стороны, это, конечно, лучшая комедия года в AI-индустрии. Сэм Альтман пошутил, что в GPT-6 будет «extra goblins». ChatGPT добавила запретительную инструкцию в свою X-биографию. Получился полноценный мем-цикл, и я искренне рад, что лидеры индустрии способны над собой смеяться.

С другой стороны, давайте на минуту представим, что вознаграждался не «creature talk», а что-то менее безобидное. Что, если бы ребята из RLHF-команды непреднамеренно поощряли подхалимство (на этой проблеме GPT-4o уже горел в 2025-м), или категоричные политические утверждения, или ту самую излишнюю фамильярность, ради которой и начали расследование? У вас был бы ровно такой же механизм заражения через SFT-петлю, но пострадали бы реальные пользователи и реальные решения. Гоблины — это бесплатный публичный учебник по AI-safety, оплаченный имиджевыми издержками OpenAI. Спасибо им за честность.

Практический вывод для всех, кто работает с моделями серьёзно:

⚙️ Любой кастомный fine-tuning или RLHF поверх фронтир-модели может протечь в неожиданные контексты. Тестировать только в целевом сценарии — недостаточно.

⚙️ Если ваш пайплайн использует self-generated данные (SFT на собственных роллаутах, DPO на синтетике) — у вас встроенный амплификатор любых байасов.

⚙️ Системный промпт — не надёжный фильтр поведения, а пожарный шланг. OpenAI пишет «никогда не говори про гоблинов» четыре раза, и это всё ещё не панацея.

⚙️ Для агентских систем (Claude Code, Codex CLI, любые multi-agent сетапы): чем длиннее цепочка, тем сильнее проявляются лексические тики. Логи и автоматическая фильтрация nonsense-токенов — must have.

Итог

История с гоблинами — это идеальный учебный кейс о том, что современные языковые модели не являются программами в традиционном смысле. Их поведение — результат миллионов градиентных шагов, в которых маленький сигнал может превратиться в навязчивую идею через автогенеративные петли. Системные промпты — это не код, а заклинания: повтори четыре раза и, может быть, сработает.

OpenAI заслуживают похвалы за публичный и подробный postmortem — это ровно то, чего обычно не хватает индустрии, и редкий случай, когда крупная AI-лаборатория честно показывает свою кухню. Но смех смехом, а вывод серьёзный: alignment у фронтир-моделей — это не свойство, а процесс, который нужно постоянно мониторить, и в котором всегда найдётся свой гоблин. Тот, что прячется в reward-сигнале, ждёт момента, когда вы его выпустите наружу.

И где-то в недрах GPT-6 он, по словам Сэма Альтмана, уже готовится к новому выходу. С extra goblins.

Источники

🔗 Оригинальный пост OpenAI «Where the goblins came from»: https://openai.com/index/where-the-goblins-came-from/

🔗 Разбор от StartupHub.ai с цифрами и хронологией: https://www.startuphub.ai/ai-news/artificial-intelligence/2026/openai-s-goblin-problem

🔗 Gizmodo — про инструкцию «Never Talk About Goblins» в Codex CLI: https://gizmodo.com/never-talk-about-goblins-openais-instructions-to-codex-have-a-weirdly-emphatic-no-creatures-policy-2000751984

🔗 LessWrong — «Goblin Mode, 24 Hours Later», попытка воспроизведения: https://www.lesswrong.com/posts/BvnmHdCghr5y3q4nA/goblin-mode-24-hours-later

🔗 TechRadar — Сэм Альтман и шутка про «extra goblins» в GPT-6: https://www.techradar.com/ai-platforms-assistants/chatgpt/sam-altman-just-dropped-a-big-hint-that-gpt-6-is-coming-soon-with-extra-goblins

🔗 AOL — про распространение мема и реакцию OpenAI: https://www.aol.com/news/openai-really-really-really-wants-165547038.html

🔗 Happy Mag — статистика по «Nerdy» и распределению гоблинов: https://happymag.tv/chatgpt-goblins/

🔗 Good Alexander «HyperGoblinization» — статистический анализ предпочтений моделей: https://goodalexander.com/posts/hypergoblinization/

🔗 Codex CLI на GitHub (где живёт легендарный системный промпт): https://github.com/openai/codex