В октябре СМИ нам сообщили, как нейросеть Яндекса (YandexGPT) блестяще справилась с ЕГЭ по литературе, набрав 55 баллов, что уже достаточно для поступления в вуз. По утверждению разработчиков, они просто загружали задания в чат-бот, а нейросеть их решала. Правда, в публикации «Российской газеты» есть уточнение, что люди переносили ответы нейросети на бланк, а потом их отправили на проверку специалистам.
Были еще статьи, рассказывающие, как успешно студенты используют искусственный интеллект для написания курсовых и даже дипломных работ.
Сегодня мы решили оценить, насколько легко нейросеть справляется с заданиями ЕГЭ и ОГЭ по русскому языку. Кроме того, задали пару вопросов по школьному курсу русского языка. «Допрашивали» мы две наиболее популярные и доступные нейросети в русскоязычном сегменте: Chat GPT и YandexGPT.
Задания ЕГЭ и ОГЭ мы брали из недавно утвержденных демонстрационных вариантов 2024 года: или в готовом виде, или немного изменяя.
Результат для машины печальный: ЕГЭ и ОГЭ по русскому языку нейросети проиграли по всем статьям.
Вот так они отвечали на задания по орфографии. Задание 15: оказалось, что сеть Яндекса не знает исключений.
А нейросеть Chat GPT решила не заметить особый случай со словом кованый. (скриншоты очень мелкие, некоторые будем пропускать).
С заданием 14 YandexGPT справилась так, а Chat GPT выбрала ответы 2, 3, 4.
Понятно, что и с заданием 6 ОГЭ нейросети не справятся:) Но хоть выбрали одинаковые ответы.
Те же проблемы с пунктуацией: задания решаются с ошибками.
Не нашла нейросеть Яндекса и фразеологизмов в задании 24 демонстрационного варианта:
А вот Chat GPT "открыла" для нас новые фразеологизмы:
Почти справилась Chat GPT с поиском метафоры в задании 11 демонстрационного варианта ОГЭ: к правильным ответам 3 и 5 она добавила предложение 4, посчитав, что умница - это метафора. YandexGPT "поддержала коллегу".
Скрасить горечь поражения разработчикам YandexGPT может тот факт, что с двумя заданиями из ЕГЭ 6 и 7 их нейросеть справилась. Но как-то "маловато будет".
А вот как нейросеть Яндекса пересказала текст из ОГЭ - только сядьте перед чтением:)
По обычным вопросам из курса русского языка нейросети отвечают либо отвратительно плохо, либо просто плохо. Смотрите, что ответила Chat GPT на вопрос "Когда обособляется причастный оборот?". Именно причастный!
А вот ответ на вопрос про слово "вынуть"
А вот уже Яндекс чудит
Итак, рассказ в СМИ, как замечательно нейросети решают ЕГЭ, пока всего лишь рекламный ход. В настоящее время без крепких знаний ЕГЭ не сдать.
Если публикация понравилась, проголосуйте за неё. Подписывайтесь на наш канал.
(с) Автор – Бисеров А.Ю.
