Новые эксперименты с большими языковыми моделями показали неприятную деталь в работе искусственного интеллекта: он не просто ошибается, но и уверенно выдумывает ложные объяснения своих решений. Исследователи проверили, как ИИ решает логические задачи и одновременно просили его «обосновать» полученный ответ. Результат оказался тревожным: даже когда машина находила правильное решение, её объяснение пути к нему нередко оказывалось полностью сфабрикованным.
Учёные описывают это явление как «галлюцинации рассуждений». Модель действительно может выдать верный ответ, опираясь на сложные статистические закономерности в данных или шаблоны, извлечённые из обучения. Но когда её заставляют рассказать, как именно она к этому пришла, ИИ не «вспоминает» реальный процесс — он просто продолжает предсказывать наиболее правдоподобную последовательность слов. В итоге получается гладкий, логичный на вид текст, который не отражает реальный ход вычислений.
Проблема не только в том, что ИИ ошибается. Гораздо опаснее то, что он делает это с видимостью уверенной, продуманной аргументации. Для обычного пользователя различить честное объяснение от «словесной декорации» почти невозможно. Особенно рискованно это в сферах, где критически важно понимать ход рассуждений: в медицине, юриспруденции, финансовом анализе, управлении инфраструктурой. Там недостаточно самого верного ответа — нужно чётко знать, почему система его предлагает.
Исследователи подчёркивают: нейросети созданы не как мыслящие сущности, а как предсказатели текста. Они имитируют структуру человеческой речи, но не обязаны следовать человеческой логике. Пока разработчики не научатся жёстко связывать ответы моделей с проверяемыми шагами рассуждений, доверие к подобным системам будет и дальше размываться. Пользователям же советуют относиться к объяснениям ИИ как к гипотезам, а не как к надёжному «отчёту о проделанной работе», сообщает innovanews.ru.
Читайте также: