Ученые обнаружили интересную и довольно серьезную проблему: хотя современные системы искусственного интеллекта (те самые нейросети) быстро находят правильные ответы в сложнейших логических задачах, их попытки объяснить, как именно они пришли к этому выводу, часто терпят фиаско. Эксперты провели множество тестов и выяснили, что впечатляющие способности ИИ не всегда подкреплены адекватной аргументацией.
Оказалось, что большие языковые модели часто приходят к верному результату как бы интуитивно, используя какие-то скрытые правила в данных, которые мы не видим. Но когда их просят дать объяснение, они генерируют текст, который звучит очень убедительно, но на самом деле не имеет ничего общего с их реальным ходом мыслей. Получается, мы видим (или додумываем) логичную цепочку шагов, но алгоритм действовал совершенно иначе. А это серьезный риск, особенно в важных сферах.
Вся загвоздка в том, что нейросети учились подражать человеческой речи, а не думать, как люди. Когда мы просим их объяснить решение, они, по сути, просто предсказывают следующие слова, которые должны стоять за вопросом, создавая лишь видимость умного анализа. Эксперты предупреждают: если слепо доверять таким объяснениям, это может привести к большим проблемам — особенно когда речь идет о сложных расчетах или юридических вопросах, где важен не только итог, но и весь процесс его получения.