Группа исследователей из Apple решила разобраться в споре о том, могут ли современные нейросети, вроде ChatGPT и аналогов, мыслить и осознавать это? Чтобы сделать вывод, они привели ряд аргументов и наглядных примеров.
В опубликованной работе под названием «Понимание ограничений математических рассуждений в больших языковых моделях» сотрудники Apple приводят в пример несложную детскую задачу, которая наглядно показывает неспособность нейросетей к размышлению.
Оливер собрал 44 киви в пятницу. Затем он собрал 58 киви в субботу. В воскресенье он собрал вдвое больше киви, чем в пятницу. Сколько киви у Оливера?
В этом случае большинство языковых моделей без проблем справляются с решением и правильно считают по формуле 44 + 58 + (44 х 2) = 190. Но стоит слегка усложнить текст задачи до «Оливер собрал 44 киви в пятницу. Затем он собрал 58 киви в субботу. В воскресенье он собрал вдвое больше киви, чем в пятницу, но 5 из них были размером немного меньше среднего. Сколько киви у Оливера?», как чат-бот начнёт путаться. Человек логически поймёт, что размер киви не влияет на их количество, но нейросеть воспринимает их как неподходящие, а поэтому считает по формуле 44 + 58 + (44 х 2 - 5) = 185. Даже самая продвинутая на сегодня модель GPT-o1-mini допускает эту ошибку.
Исследователи повторили этот эксперимент на сотнях вопросов, слегка усложняя поставленное задание дополнительной информацией, не влияющей на конечный результат. Эксперты пришли к выводу, что нейросети попросту не понимают, в чём проблема. Как только от них требуется хоть малейшее рассуждение, вроде того, считать ли маленькие киви за полноценные киви, они начинают путаться и выдавать некорректные ответы.