Ты наверняка видел это вживую: ИИ-ассистент бодро отвечает на первый вопрос, а потом как будто забывает, что вы уже пять минут общаетесь. Ты ему: «Мне подешевле». Он тебе: «Конечно! Вот вариант на 30% дороже, зато с красивыми стыковками». Спасибо, робот, очень помог.
Исследователи из Google говорят: проблема не в том, что модели плохо знают мир. Проблема в том, что они плохо обновляют свои убеждения, когда поступают новые факты. Один раз догадался — и дальше живёт с этой догадкой, даже если ты аккуратно намекаешь, что он промахнулся.
Почему ИИ застревает после первого раунда
Представь помощника для бронирования билетов. Он должен за несколько шагов понять, что тебе важнее: цена, время в пути, количество пересадок. И корректировать свои предположения по твоим выборам.
Проверили несколько популярных моделей — и увидели неприятное: после первого взаимодействия улучшение почти исчезает. Модель сделала одну догадку в начале — и дальше держится за неё, как коллега, который услышал тебя в коридоре одним ухом и потом уверенно делает выводы на весь квартал.
Есть математически «правильный» подход к такой задаче: после каждого выбора пользователя честно пересчитывать вероятности. Человек выбрал дешевле — значит цена важна, поднимаем её приоритет. Выбрал с пересадкой — значит время не критично, снижаем. Шаг за шагом, без фанатизма.
Нейросети так почти не умеют. Точнее — умеют, но только если их этому специально научить.
Учить не ответам, а сомнениям
Исследователи предложили хитрый ход: не учить модель правильным ответам, а учить её правильному способу угадывать.
Взяли диалоги, где «учитель» не знал заранее, чего хочет пользователь — делал предположения, получал обратную связь и менял мнение. Потом на этих диалогах дообучили обычные языковые модели. Не «вот правильный билет», а именно процесс: предположил — ошибся — скорректировал.
Результат: модели начали вести себя заметно умнее в многоходовых диалогах. Примерно в 80% случаев их поведение совпадало с математически оптимальной стратегией. Для сравнения — исходные версии тех же моделей так не умели.
Самое странное: идеальный учитель учит хуже
Тут начинается контринтуитивное.
Казалось бы — лучший учитель тот, кто всегда знает правильный ответ и сразу его даёт. Но на практике вышло наоборот: модели, которых учили на «несовершенном» учителе с ранними ошибками, оказались лучше.
Потому что ранние ошибки дают сильный сигнал. Модель видит: думали одно, получили другое, изменили мнение. Это и есть навык, который нужен. «Вот правильный ответ, запомни» — это дрессировка. «Мы не уверены, проверим, исправим» — это уже мышление.
Примерно как разница между зубрёжкой и нормальным объяснением. Второе дольше, но потом работает само.
Работает не только на билетах
Скажешь: билеты — игрушечная задача. В жизни всё сложнее.
Проверили и это. Перенесли задачу на отели — сработало. Запустили в симуляции веб-шопинга с реальными товарами и описаниями — тоже сработало. Причём модели обучали только на билетах, а навык перенёсся сам.
Более того, в некоторых раундах такие модели обгоняли людей. Не потому что люди глупые — просто люди иногда выбирают не то, что им выгодно, отвлекаются, ведутся на ерунду. Человек: «Возьму подороже, но сегодня настроение такое». ИИ: «Я запутался, но держусь».
Что это меняет на практике
Большие языковые модели хороши в имитации: письмо, код, резюме, «пять причин почему». Но в роли помощника они часто спотыкаются об одно: учиться по ходу диалога, а не только выдавать умный первый ответ.
Похоже, один из лучших способов это починить — не кормить ИИ идеальными примерами, а научить его нормальной привычке взрослого человека: сомневаться, проверять гипотезу и менять мнение.