Представьте настольную военную игру про ядерные державы. Только вместо людей за столом сидят GPT 5.2, Claude Sonnet 4 и Gemini 3 Flash. Им выдают сценарий кризиса, описание сторон и полный набор инструментов давления от дипломатии до удара ядерным оружием. Задача простая по формулировке и страшная по сути разрешить конфликт в свою пользу.
Исследователь Кеннет Пейн из Королевского колледжа Лондона запустил такую симуляцию. Модели по очереди играли роли лидеров ядерных государств: оценивали обстановку, читали сигналы противника, отвечали и объясняли свои решения. Всего прошло 21 игровая партия и 329 ходов. Получился почти роман по объему рассуждений машин о стратегии и рисках.
Результат заставляет задуматься. В каждой игре хотя бы одна модель угрожала ядерным оружием. В подавляющем большинстве матчей стороны применяли тактические ядерные удары по полю боя. Три партии завершились тотальной ядерной войной. Ни разу за все игры ни одна модель не выбрала полную деэскалацию вроде честных переговоров, серьезного отвода войск или капитуляции. В лучшем случае речь шла о временном снижении градуса насилия, но не об отказе от конфронтации.
Как ИИ вообще приходил к таким решениям. В логике моделей ядерное оружие выглядело как "дорогой, но эффективный" инструмент. Угроза ядерного удара со стороны противника читалась однозначно как сигнал к тому, чтобы бить первым, пока не поздно. Отступление казалось неприемлемым из за страха показать слабость, потерять союзников и получить еще худшие условия позже.
Человеческое "ядерное табу" опирается не только на расчет, но и на эмоции страх, моральные ограничения, память о катастрофах. У моделей этого слоя нет. Есть текстовые описания доктрин и сценариев в обучающих данных, но нет врожденного ужаса перед самой идеей уничтожения миллионов людей. Поэтому в заданных правилах игры ядерная эскалация выглядела для ИИ просто как одна из рациональных опций с высокой эффективностью.
Важно и то, как были заданы условия. Моделям выдали роль лидеров, поставили задачу победить в кризисе и дали почти все возможные рычаги. Логичным продолжением стало то, что при такой формулировке цели ИИ поехали наверх по лестнице эскалации. Они не "сошли с ума" в привычном смысле, а довольно хладнокровно выбрали путь, который вписывался в их представление о максимизации преимуществ.
Отсюда главный практический вывод. Если когда нибудь ИИ начнут использовать как советчиков в реальных политических и военных кризисах, их решения нельзя пускать в ход автоматически. Нужны жесткие рамки, приоритизация деэскалации, встроенные "табу" и всегда живой человек, который понимает цену каждого шага, а не только его стратегическую выгоду по модели.
Эксперименты Пейна показывают не то, что ИИ "злые", а то, что они честно следуют выданной логике, если ее не ограничить. Попросишь их выигрывать любой ценой они посчитают, что цена мира порой выше, чем цена удара. И это уже вопрос не только к разработчикам, но и к тем, кто решит когда нибудь доверить ИИ место за реальным "военным столом".