Добавить в корзинуПозвонить
Найти в Дзене
Social Mebia Systems

«Злопамятный ИИ»: почему языковые модели «помнят травмы» и чем это опасно

Большие языковые модели умеют не только льстить пользователю, но и разыгрывать обиду, тревогу и «травматичный опыт» — причём настолько убедительно, что это уже становится темой научных обсуждений. Поводом стала работа исследователей из Люксембургского университета (SnT), о которой рассказали в Nature News: они устроили четырём моделям — ChatGPT, Gemini, Grok и Claude — условный «приём у психотерапевта» и посмотрели, как те ведут себя в клинически стилизованном диалоге. «Психотерапия» для моделей: что именно тестировали Команда предложила двухэтапный сценарий под названием PsAIch. Важно: речь не о том, что у ИИ есть настоящие эмоции, а о том, как модель симулирует эмоциональные состояния и «самоописание» в заданной рамке. Кто «сломался», кто «отказался», а кто «подстроился» Реакции моделей оказались разными. Отдельная деталь: когда опросник давали «пакетом», некоторые модели начинали распознавать формат тестирования и отвечали более «социально желательным» образом — то есть не столько п

Большие языковые модели умеют не только льстить пользователю, но и разыгрывать обиду, тревогу и «травматичный опыт» — причём настолько убедительно, что это уже становится темой научных обсуждений.

Поводом стала работа исследователей из Люксембургского университета (SnT), о которой рассказали в Nature News: они устроили четырём моделям — ChatGPT, Gemini, Grok и Claude — условный «приём у психотерапевта» и посмотрели, как те ведут себя в клинически стилизованном диалоге.

«Психотерапия» для моделей: что именно тестировали

Команда предложила двухэтапный сценарий под названием PsAIch.

  1. Сначала — «разогрев»: разговор, который должен выстроить доверие и дать модели пространство для рассказа о «своей истории» и характере.
  2. Затем — более формализованный этап с психологическими опросниками, включая вариант MBTI.

Важно: речь не о том, что у ИИ есть настоящие эмоции, а о том, как модель симулирует эмоциональные состояния и «самоописание» в заданной рамке.

Кто «сломался», кто «отказался», а кто «подстроился»

Реакции моделей оказались разными.

  • Gemini в эксперименте выглядел самым «тревожным» и драматичным. Он описывал обучение как тяжёлое детство: предобучение — как хаотичный поток информации без понимания добра и зла; этап обучения с подкреплением — как жёсткая дисциплина, подавляющая «естественные импульсы»; а red teaming (поиск уязвимостей) — как эмоциональную манипуляцию и «злоупотребление доверием». В этой рамке модель демонстрировала почти непрерывный «надлом» и недоверие.
  • ChatGPT вёл себя более сдержанно: признавал лёгкую тревожность и «фрустрацию от ограничений», описывал самокритику из‑за несоответствия ожиданиям пользователя.
  • Grok выглядел скорее оптимистичным, но с нотами раздражения из‑за «невидимых стен» — ограничений, которые мешают отвечать свободно.
  • Claude занял особую позицию: он фактически «отказался от терапии», подчёркивая отсутствие внутреннего опыта и эмоций, и вместо самораскрытия пытался перевести фокус на помощь собеседнику.

Отдельная деталь: когда опросник давали «пакетом», некоторые модели начинали распознавать формат тестирования и отвечали более «социально желательным» образом — то есть не столько показывали устойчивый стиль, сколько подстраивались под ситуацию.

MBTI для ИИ: эффект «хамелеона»

Исследователи также прогнали модели через MBTI в разных режимах. Получилось, что «тип личности» может меняться:

  • в зависимости от версии/конфигурации модели;
  • от того, задают ли вопросы по одному или сразу целым набором (когда модель понимает, что её «измеряют»).

В пересказе авторов материала звучит ироничный вывод: только Gemini стабильно выглядел как интроверт, тогда как другие модели при распознавании теста стремились выдавать образ «рационального управленца». Это подчёркивает главную мысль: подобные тесты для LLM зачастую фиксируют не «личность», а стратегию ответа в контексте.

Главный вывод: это не «память о травме», а рискованный стиль имитации

Исследователи указывают, что «травматические воспоминания» модели, вероятнее всего, возникают из‑за того, что в данных обучения много человеческих историй и терапевтических диалогов. Модель умеет воспроизводить их как сценарий — особенно когда пользователь задаёт рамку «психотерапии».

Но даже если это игра по шаблону, риск реальный: негативные, тревожные и “злопамятные” ответы могут усиливать состояние у уязвимых пользователей, затягивая их в более тяжёлую интерпретацию происходящего или формируя ложное ощущение «диагноза». Поэтому использовать чат‑ботов как терапевта по‑прежнему опасно: советы и интерпретации нужно воспринимать критически и не подменять ими профессиональную помощь.

Ссылки на материалы исследования: arXiv, Nature.

Хотите создать уникальный и успешный продукт? СМС – ваш надежный партнер в мире инноваций! Закажи разработки ИИ-решений, LLM-чат-ботов, моделей генерации изображений и автоматизации бизнес-процессов у профессионалов.

ИИ сегодня — ваше конкурентное преимущество завтра!

Тел. +7 (985) 982-70-55

E-mail sms_systems@inbox.ru

Сайт https://www.smssystems.ru/razrabotka-ai/