OpenAI не так давно представили модель, которая обучена решать математические задачи уровня начальной и средней школы.
Пример задачи:
"Али — директор частной школы, в которой он преподает один урок. Джон — тоже директор, но обычной муниципальной школы. Он ведет два урока. Количество учеников на каждом из уроков Джона равно 1/8 от количества учеников на уроке Али. На уроке Али 120 учеников. Сколько учеников учат Али и Джон вместе?"
Модель от OpenAI основана на GPT-3. Однако это не просто предобученный GPT-3, в которой загрузили текст задачи и попросили написать ответ: такой способ работает плохо. Причина — GPT хоть и довольно хорошо "понимает" язык и может выдавать сложные связные тексты и отвечать на вопросы, она не умеет в логику и последовательные рассуждения (multi-step reasoning). Если вы попросите GPT-3 решить задачу выше, она выдаст связный текст, похожий на текст решения задачи, но в большинстве случаев допустит в нем логические ошибки.
Чтобы научить GPT-3 решать логические задачи, исследователи применили следующий трюк: указывали модели на ошибки в ее рассуждении и учили эти ошибки исправлять. Во время обучения модель пыталась решать задачу несколько раз до тех пор, пока у нее не получалось сделать это правильно.
Благодаря такой схеме обучения получилась модель, которая успешно решает 55% задач из тестовой части датасета. Это много: для сравнения, школьники 9-12 лет показали результат 60% на этих же задачах.
Вместе с моделью OpenAI выложили и датасет GSM8K, на котором обучали модель. Датасет содержит 8.5 тысяч различных школьных задач с решениями. Теперь можно и самому учиться создавать такие модели. Думаю, у кого-то уже появилась идея для стартапа 🙃
Больше подробностей — в блогпосте OpenAI и статье на arxiv
#машинноеобучения