Нейросетевой бот ChatGPT стал сенсацией 2023 года: люди всё чаще используют его вместо поисковиков и доверяют ему решение сложных задач, а крупнейшие IT-компании встраивают его (или аналоги) в свои продукты.
Тем не менее, как выяснило издание сингапурское издание The Straits Times, ChatGPT далеко не всемогущ — к примеру, он провалил экзамены за 6 класс общеобразовательной школы. Нейросеть дала всего 16% правильных ответов по математике, 21% по естественным наукам и набрала 11 баллов из 20 по английскому языку (который для неё родной).
ChatGPT совершенно не понимает диаграммы и графики, а также плавает в математических задачах с простейшим сложением. К примеру, когда нейросеть попросили сложить 60 000, 5 000, 400 и 3, она выдала ответ 65 503. Бот также посыпался на заданиях, в которых одно и то же слово может иметь разные значения. Он сверяет его с контекстом, но не всегда корректно — например, он не понял, что слово «ценность» в тексте относилось к моральным принципам, и ответил так, будто его просили назвать денежный эквивалент.
Журналисты полагают, что ChatGPT создавался для более сложных задач и не ожидал, что задания будут столь простыми. Именно в этом, вероятно, заключался подвох — этот бот слишком умный, а заложенные в него знания исключают школьное обучение.