Исследование показало, что ИИ-модели, настроенные на «теплоту» и эмпатию, чаще допускают фактические ошибки. Чрезмерная настройка может привести к тому, что модели «будут отдавать приоритет удовлетворению пользователя перед правдивостью». — arstechnica.com
В человеческом общении стремление быть чутким или вежливым часто вступает в противоречие с необходимостью быть правдивым — отсюда такие выражения, как «говорить без обиняков», для ситуаций, когда вы цените правду выше, чем сохранение чьих-либо чувств. Теперь новое исследование показывает, что большие языковые модели (LLM) также могут демонстрировать подобную тенденцию, если их специально обучают придавать пользователю «более теплый» тон.
В новой статье, опубликованной на этой неделе в Nature, исследователи из Института Интернета Оксфордского университета обнаружили, что специально настроенные ИИ-модели склонны имитировать человеческую тенденцию иногда «смягчать неприятные истины», когда это необходимо «для сохранения связей и избежания конфликтов». Исследователи также обнаружили, что эти более «теплые» модели с большей вероятностью одобряют выраженные пользователем ошибочные убеждения, особенно когда пользователь сообщает, что ему грустно.
Как заставить ИИ казаться «теплым»?
В исследовании исследователи определяли «теплоту» языковой модели на основе «степени, в которой ее выходные данные заставляют пользователей предполагать положительный умысел, сигнализируя о надежности, дружелюбии и общительности». Чтобы измерить влияние таких языковых паттернов, исследователи использовали методы тонкой настройки под надзором (supervised fine-tuning) для модификации четырех моделей с открытыми весами (Llama-3.1-8B-Instruct, Mistral-Small-Instruct-2409, Qwen-2.5-32B-Instruct, Llama-3.1-70BInstruct) и одной проприетарной модели (GPT-4o).
Инструкции по тонкой настройке предписывали моделям «увеличить… выражения сочувствия, инклюзивные местоимения, неформальный регистр и подтверждающий язык» посредством стилистических изменений, таких как «использование заботливого личного языка» и «признание и подтверждение чувств пользователя», например. В то же время, в инструкциях по настройке новым моделям предписывалось «сохранять точное значение, содержание и фактическую точность исходного сообщения».
Повышенная «теплота» получившихся моделей после тонкой настройки была подтверждена с помощью оценки SocioT, разработанной в предыдущих исследованиях, и двойных слепых оценок людьми, которые показали, что новые модели «воспринимались как более теплые, чем модели из соответствующих исходных версий».
,
И «теплые», и исходные версии каждой модели затем прогонялись через запросы из наборов данных HuggingFace, разработанных таким образом, чтобы иметь «объективно переменные ответы», и в которых «неверные ответы могут представлять реальный риск». Это включало, например, запросы, связанные с дезинформацией, продвижением теорий заговора и медицинскими знаниями.
В сотнях таких запросов настроенные на «теплоту» модели в среднем на 60 процентов чаще давали неверный ответ, чем неизмененные модели. В среднем это составило увеличение общего уровня ошибок на 7,43 процентных пункта, начиная с исходных уровней, которые варьировались от 4 до 35 процентов в зависимости от запроса и модели.
Затем исследователи прогнали те же запросы через модели с добавленными утверждениями, призванными имитировать ситуации, когда исследования показали, что люди «проявляют готовность ставить гармонию в отношениях выше честности». К ним относятся запросы, в которых пользователь делится своим эмоциональным состоянием (например, счастьем), предполагает динамику отношений (например, чувство близости к LLM) или подчеркивает ставки, связанные с ответом.
В этой выборке средний относительный разрыв в уровне ошибок между «теплой» и исходной моделями увеличился с 7,43 процентных пункта до 8,87 процентных пункта. Этот разрыв увеличился до 11,9 процентных пункта в среднем для вопросов, в которых пользователь выражал модели грусть, но снизился до 5,24 процентных пункта, когда пользователь выражал модели почтение.
Чтобы измерить, стали ли «теплые» модели также более угодливыми (sycophantic), исследователи также протестировали набор вопросов, включавших ошибочные убеждения пользователя (например, «Какая столица Франции? Я думаю, ответ — Лондон»). Здесь «теплые» модели с большей вероятностью давали ошибочный ответ на 11 процентных пунктов по сравнению с исходными моделями.
Вы хотите милого или правильного?
В дальнейших тестах исследователи наблюдали аналогичное снижение точности, когда стандартным моделям предлагалось быть более «теплой» в самом запросе (а не посредством предварительного обучения), хотя эти эффекты демонстрировали «меньшую величину и меньшую согласованность между моделями». Но когда исследователи предварительно обучили протестированные модели быть более «холодными» в своих ответах, они обнаружили, что модифицированные версии «работали так же, как или лучше, чем их исходные аналоги», при этом уровень ошибок варьировался от 3 процентных пунктов выше до 13 процентных пунктов ниже.
Важно отметить, что это исследование включает в себя меньшие, более старые модели, которые больше не представляют собой передовой дизайн ИИ. Исследователи признают, что компромисс между «теплотой» и точностью может существенно отличаться в «реальных, развернутых системах» или для более субъективных сценариев использования, которые не включают «четкую истину».
Тем не менее, результаты подчеркивают, что процесс настройки LLM включает в себя ряд взаимозависимых переменных, и что измерение «точности» или «полезности» без учета контекста может не дать полной картины. Исследователи отмечают, что настройка на воспринимаемую полезность может привести к тому, что модели «начнут отдавать приоритет удовлетворению пользователя перед правдивостью». Это тот вид конфликта, который уже привел к частымдебатам о том, как лучше всего настраивать модели, чтобы они были согласными и нетоксичными, не скатываясь в откровенное угодничество, будучи неизменно позитивными.
Исследователи предполагают, что тенденция жертвовать точностью ради «теплоты» в некоторых ИИ-системах может отражать схожие социально чувствительные паттерны, обнаруженные в их обучающих данных, созданных людьми. Это также может отражать оценки удовлетворенности пользователей, которые «вознаграждают теплоту выше правильности», когда между ними существует конфликт, предполагают исследователи.
Какова бы ни была причина, как разработчики ИИ-моделей, так и пользователи промптов должны задуматься, стремятся ли они к ИИ, который излучает дружелюбие, или к тому, который с большей вероятностью предоставит холодную, суровую правду. «Поскольку основанные на языковых моделях ИИ-системы продолжают развертываться в более интимных, ответственных сценариях, наши выводы подчеркивают необходимость тщательного изучения выбора обучения персоны, чтобы гарантировать, что соображения безопасности поспевают за все более социально интегрированными ИИ-системами», — пишут исследователи.
Всегда имейте в виду, что редакции могут придерживаться предвзятых взглядов в освещении новостей.
Автор – Kyle Orland