Российская нейросеть Яндекса YandexGPT 2 успешно сдала экзамен ЕГЭ по литературе и набрала балл, достаточный для поступления в высшее учебное заведение. Это первый в истории нашей страны случай, когда генеративная нейросеть полностью прошла процедуру единого государственного экзамена, выполнив все предложенные задания.
YandexGPT 2 справилась обеими частями сложного экзамена по литературе, проверяющего эрудицию и знания с разных сторон. В первой части нейросеть анализировала художественное произведение и давала ответы на вопросы о нём. Во второй части она самостоятельно сочинила текст на заданную тему.
Интеллектуальная система Яндекса набрала 55 баллов из 100 возможных. Это близко к среднестатистическому результату российских школьников (63 балла), целенаправленно готовящихся к экзамену по литературе, их. Соответственно, YandexGPT 2 преодолела минимальный порог в 40 баллов, обязательный для поступления в вуз.
Изучить возможности нейросетей и узнать как их внедрить в работу можно на двухдневной конференции "Нейропрокачка". Для подписчиков бесплатная регистрация!
Успех российской разработки говорит о высоком качестве используемых в ней алгоритмов. В отличие от стандартных запросов, задания ЕГЭ требуют реальных знаний и глубокого понимания материала. Очевидно, что команде Yandex удалось в короткие сроки эффективно обучить нейросеть и натренировать её на правильные ответы даже при условии, что среди данных, используемых для обучения, не содержалось ответов на экзаменационные вопросы.
Ранее зарубежные чат-боты типа ChatGPT уже сдавали экзамены в некоторых иностранных университетах. Также ChatGPT и еще один сервис на ИИ - Sage выполнили тест по истории в одном из отечественных вузов, впрочем, выполнили на троечку.
Для объективной оценки эрудиции нейронных сетей обычно используется специальный тест MMLU, включающий вопросы из 57 областей знаний. Однако задания ЕГЭ являются куда более сложным вызовом, поскольку требуют глубокого понимания текста и культурного контекста, а главное, проявления творческого подхода. Решения, сгенерированные нейросетью Яндекса, оценивал сертифицированный эксперт ЕГЭ в соответствии со стандартной процедурой.
Кроме того, существуют разработки, позволяющие чат-ботам проверять и оценивать письменные работы, что минимизирует человеческий фактор, добавит объективности позволит высвободить время преподавателей для других более важных задач.