Онлайн-школа английского языка Skyeng поделилась с LIVE24 результатами опроса родителей выпускников на тему проверки выпускных итоговых работ с помощью ИИ.
Команда онлайн-школы выяснила, что 57% процентов выпускников не смогли поступить в тот вуз, в который хотели из-за нехватки баллов по результатам ЕГЭ. 28% выпускникам не хватило 1-3 баллов, столько же ребят не добрали 4-6 баллов. На долю тех, кто не смог поступить из-за нехватки 7 и более баллов, пришлось 44%.
Каждый третий опрошенный родитель считает, что причиной недобора целевого количества баллов для поступления стал человеческий фактор при проверке работ. Спецификатор ЕГЭ Федерального института педагогических измерений признает погрешность от 2-4 и более баллов в оценке итоговых работ выпускников разными экспертами.
Например, расхождение в баллах допускается в спецификаторе по английскому языку, литературе, профильной математике. Таким образом, оценка ученика за ту часть ЕГЭ, которую проверяют вручную, зависит от компетенций эксперта. При этом, баллы за это же задание у другого ученика с таким же ответом могут отличаться.
Skyeng выразил инициативу о применении своего чат-бота в системе оценивания ЕГЭ. 31% родителей отметили, что согласились бы на проверку выпускных итоговых работ с помощью технологий ИИ, если бы точность такой проверки была протестирована и соответствовала стандарту. Остальные же пока не готовы к таким переменам.
Руководитель команды разработки чат-бота “Skysmart AI ЕГЭ Эксперт” и основатель Skyeng Георгий Соловьев отметил, что обидная нехватка нескольких баллов действительно сильно усложняет жизнь выпускникам и снижает их шансы на поступление в вуз. При этом, не каждый подросток готов рисковать и подавать на апелляцию, так как у него нет гарантий, что бал не только не повысят, но и не снизят.
“Если мы проверяем тестовую часть с помощью технологичных решений, то почему бы не доверить им проверку и второй части, а также устных и требующих письменный развернутый ответ заданий. Это поможет снизить влияние человеческого фактора и свести разрыв в баллах к нулю. Наша разработка уже сопоставима с работой профессиональных методистов и прогнозирует баллы за устные и письменные задания по английскому языку с вероятностью в 80%. В ближайшем будущем мы запустим чат-бота для ЕГЭ по математике и по другим предметам”,отметил Соловьев.
В ходе тестирования бета-версии чат-бота проводился эксперимент с экспертами предметной комиссии по английскому языку. Участникам предложили оценить 2 варианта проверенных работ с результатами, где были оценки как их коллег, так и чат-бота под видом эксперта. Они могли выбрать как эталонную проверку оба варианта, один из двух либо вынести вердикт, что оба варианта не были оценены корректно. При проверке финальной оценки эксперты соглашались с оценкой чат-бота в 55% случаев. Это средний показатель согласия с итоговой оценкой по заданиям №2 (67,6%), №3 (21,4%), №4 (52%) и №37 (84 %), №38 (51,2%). Эксперимент также подтвердил то, что оценки по одному и тому же ответу у экспертов могут различаться на целых 5 баллов.
“При условии, что чат-бот постоянно будет в курсе всех нововведений в ЕГЭ и изменений в оценивании, он сможет обеспечить объективную оценку работы, исключив человеческий фактор. На данный момент, второе задание устной части вполне может быть оценено ботом, с остальными нужно еще поработать”,рассказала Марина Долгачева, старший эксперт региональной предметной комиссии Волгоградской области по английскому языку и член конфликтной комиссии.