В эпоху расцвета больших языковых моделей (LLM), таких как GPT, возникает соблазн использовать их не только для решения задач, но и для понимания того, как именно люди принимают решения. Исследователи из Принстонского университета и Технологического института Джорджии недавно сделали важный шаг в этом направлении, успешно обучив нейросеть объяснять человеческий выбор с помощью обучения с подкреплением (Reinforcement Learning, RL).
Почему это важно? Давайте разберёмся.
💡 Мотивы исследования
Когнитивная психология давно пытается не просто предсказать поведение человека, но и понять, почему человек ведёт себя именно так. Классические нейросетевые модели достигают хорошей точности предсказаний, но остаются «чёрным ящиком» — их трудно интерпретировать. А ведь именно понимание причин решений открывает возможность для улучшения продуктов, интерфейсов, медицинских и образовательных технологий.
🔍 Что предложили исследователи?
Исследователи поставили перед собой амбициозную цель: обучить нейросети не только точно прогнозировать, какой выбор сделает человек в рискованных ситуациях, но и объяснять причины этого выбора на понятном естественном языке.
Для этого была применена интересная техника:
🔸 LLM (модель Qwen-2.5-7B-Instruct) обучается сначала на огромном объёме текстов (предварительное обучение).
🔸 Затем модель дополнительно обучается методом обучения с подкреплением (RL), получая вознаграждение не только за точность прогноза, но и за логичность и чёткость объяснений.
⚙️ Как работает эта система?
Модель получает описание ситуации выбора между рискованным и безопасным вариантами и генерирует ответ в два этапа:
- 🗣️ Цепочка размышлений (Chain-of-Thought, CoT) — модель шаг за шагом объясняет логику, исходя из ожидаемой выгоды и психологических факторов (например, риск-аверсии или эффекта определённости).
- 📊 Финальное предсказание — модель оценивает, какой процент людей выберет каждый из вариантов.
За каждый шаг модель получает обратную связь (reward). Чем ближе её предсказания к реальным данным о поведении людей, тем выше вознаграждение. Это заставляет нейросеть «задумываться», используя не только строгий расчёт вероятностей, но и учитывая тонкие психологические нюансы.
🎯 Что удалось достичь?
Результаты исследования впечатляют:
✅ Высокая точность прогнозов — модель, обученная RL, ничуть не уступила (а в некоторых случаях и превзошла) традиционные методы fine-tuning (донастройки) на основе реальных данных.
✅ Интерпретируемость объяснений — модель стала выдавать развёрнутые и логически выстроенные рассуждения, упоминая такие факторы, как:
- 🎲 Расчёт ожидаемой выгоды (Expected Value).
- 😨 Риск-аверсия (Risk Aversion).
- 💸 Эффект потери (Loss Aversion).
- 📌 Эффект определённости (Certainty Effect).
- 🎰 Склонность к риску (Risk Seeking).
При этом модель явно адаптировала свои объяснения под структуру данных, на которых её обучали. Если же использовать синтетические данные (выбор, основанный строго на математическом ожидании), объяснения нейросети сводились к расчёту и сравнению ожидаемых значений.
🧩 Какие возникли сложности?
Интересный момент: не любая нейросеть способна на такое глубокое объяснение. Авторы эксперимента протестировали также более слабую модель (Gemma-2-2B-Instruct) и выяснили, что она не смогла освоить рассуждения о психологии решений, ограничиваясь простыми вычислениями. Это подтверждает гипотезу о том, что RL помогает раскрыть скрытые возможности мощных LLM, а не создаёт принципиально новые знания.
Также авторы столкнулись с проблемой mode collapse («коллапса режима»), когда нейросеть начинала выдавать одинаковые ответы. Решением оказалось изменение метода расчёта вознаграждений.
🔮 Почему это важно для будущего?
На мой взгляд, главная ценность этого исследования — в подходе к обучению нейросетей:
- 🧠 Оно показывает, что модели могут обучиться не только прогнозировать решения, но и объяснять их, что критически важно для применения ИИ в психологии, медицине и образовании.
- 🔄 Открывает путь к новым формам взаимодействия между людьми и ИИ, где нейросети выступают в роли помощников, консультантов или даже «виртуальных психологов».
Однако есть и открытые вопросы, требующие дальнейшего изучения:
- ❓ Насколько сложные и действительно новаторские психологические теории может вывести нейросеть самостоятельно?
- ❓ В каких областях подобный подход окажется наиболее эффективным?
Несмотря на эти ограничения, исследование ясно показывает перспективы интеграции искусственного интеллекта и психологии.
📚 Источник:
- Исследовательская статья: Reinforcement Learning to Train Large Language Models to Explain Human Decisions.
🔗 Дополнительные материалы:
- Qwen2.5: https://github.com/QwenLM/Qwen
- Gemma (Google DeepMind): https://deepmind.google/gemma