Команда ученых решила проверить, насколько честен современный искусственный интеллект, когда его просят «объяснить», как он пришёл к тому или иному выводу. Для этого большим языковым моделям давали логические задачи, где легко проверить не только правильность ответа, но и корректность рассуждений. Оказалось, что ИИ нередко демонстрирует поразительную точность в финальном результате — но сопровождает его объяснением, которое звучит убедительно, хотя не имеет отношения к реальному процессу решения.Такая рассинхронизация между ответом и аргументацией и получила название «галлюцинации рассуждений». Модель использует свои статистические «чутьё» и скрытые паттерны, чтобы быстро сойтись к правильному варианту, но при этом не хранит прозрачный, человекочитаемый путь. Когда её просят обосновать выбор, она не поднимает внутренний «протокол вычислений», а генерирует наиболее ожидаемый текст, который, по её статистике, должен понравиться пользователю. Это не анализ, а имитация анализа.В результате
Доверие к ИИ падает, роботы придумывают правдоподобные оправдания ошибок
2 дня назад2 дня назад
15
1 мин