Почему ИИ пишет симфонии, но проваливает школьную математику?
Кажется абсурдом: нейросеть может сдать экзамен на адвоката или написать код для сайта, но спотыкается на простой логической задаче или ошибается в подсчетах. Почему Google, OpenAI и Anthropic до сих пор не решили эту проблему?
В новой статье на Habr разобрали, почему так происходит. Спойлер: дело не в «глупости» моделей, а в том, как они устроены.
Главные причины математического кретинизма ИИ:
1. Это не калькулятор, а Т9 на стероидах
Нейросеть не *считает* числа, она *предсказывает* следующее слово. Для неё «2 + 2 =» — это просто начало предложения, которое чаще всего заканчивается символом «4». Но если пример сложный и редкий, она просто попытается угадать наиболее вероятное продолжение, а не вычислить результат.
2. Проблема токенизации
ИИ видит текст не по буквам или цифрам, а кусочками (токенами). Например, число 1024 может разбиться на токены «10» и «24». Из-за этого модели сложно понять разряды, переносы и вообще структуру числа. Для неё это как складывать слова «стол» и «стул», ожидая получить «мебель».
3. Отсутствие внутренней проверки
Когда вы решаете задачу, вы можете остановиться и подумать: «Так, тут что-то не сходится». Языковая модель работает потоком: она выдаёт ответ токен за токеном и не может вернуться назад, чтобы исправить ошибку в начале рассуждения (если не использовать специальные техники вроде Chain-of-Thought).
Что с этим делать?
Не доверяйте «голому» ИИ финансовые отчёты и точные расчеты.
Используйте модели, у которых есть доступ к Code Interpreter (они пишут код на Python для вычислений).
Переключайтесь между разными нейросетями — где-то лучше логика у Claude, где-то у GPT.
Вывод: ИИ — отличный гуманитарий и креативщик, но плохой бухгалтер. Если нужны точные цифры, заставляйте нейросеть писать код или перепроверяйте её старым добрым калькулятором. А чтобы тестировать разные модели и находить ту, которая меньше «галлюцинирует» в задачах, удобно использовать агрегаторы вроде BotHub.
