Генеративная нейросеть «Яндекса» YandexGPT 2 успешно сдала ЕГЭ по литературе в нескольких вариантах, набрав в среднем 55 баллов. При этом для поступления в ВУЗ достаточно всего 40 баллов.
Специалисты Яндекса получили варианты ЕГЭ по литературе, которые использовались при проведении тренировочных экзаменов в 2021–2023 годах, от Московского центра непрерывного математического образования и убедились, что применявшаяся для обучения YandexGPT база данных не содержит ответов на них. Нейросеть решала задания практически так же, как это делал бы любой школьник: генерировала ответы на открытые вопросы и выбирала один или несколько вариантов из предложенных, если они были. После этого решения языковой модели внесли в бланки и отправили на проверку официальным экспертам ЕГЭ по литературе.
Правда, пока что искусственный интеллект не дотягивает до живых людей: школьники набирают на ЕГЭ по литературе в среднем по 64 балла. Однако и экзамен этот – один из самых сложных, ведь в нём оценивается эрудиция, стиль письма и творческие способности, поскольку в первой части экзамена требуется проанализировать то или иное литературное произведение, а сделать это кратким изложением текста не получится. Во второй же части нужно написать сочинение на заданную тему, а для этого тоже хорошо бы понимать смысл того или иного произведения – а с этим у генеративных нейросетей обычно большие проблемы, поскольку они всего лишь умеют подбирать наиболее подходящее по смыслу слово. Впрочем, темы школьных экзаменационных сочинений хорошо известны, по ним написаны миллионы однотипных работ, на которых можно обучить языковую модель – отметив, какие сочинения получили хорошие оценки, а какие – плохие, нейросеть будет стараться генерировать тексты, больше похожие на «хорошие», чем на «плохие».
При этом нейросеть находится в других условиях по сравнению со школьниками на ЕГЭ: те специально готовятся к экзамену, а компьютер выполняет задания на основании «знаний», которые он «помнит» -- примерно так же, как ЕГЭ сдаёт взрослый человек, который школьную программу помнит отрывочно, но зато лучше школьника понимает идеи, заложенные авторами в произведения: ребёнок, читая книги, ориентированные на взрослых, обычно запоминает только сюжет, а затем зазубривает литературоведческую статью условного Лотмана, чтобы рерайтнуть её в формате сочинения. А практически вся школьная программа – это книги для взрослых, и как можно в 14 лет понять, например, Достоевского?