Как там пел Сыроежкин в «Приключениях Электроника»? Вкалывают роботы, а не человек? В общем да, прогресс до этого уже дошел. Для школьников и студентов точно. В феврале в Москве студент за день с помощью нейросети написал диплом и защитился, да так, что педагоги по всей стране вздрогнули – как теперь проверять, ученик писал работу или компьютер?
А ведь сейчас идет горячая пора ЕГЭ и ОГЭ. Вдруг кому-то из учеников придет в голову идея сдать экзамен при помощи нейросети? «КП» вместе с преподавателями проверила, сработает такой фокус или нет. Хочет компьютер писать дипломы в университете? Пусть сначала наберет достаточно баллов, чтобы туда поступить.
ЗА РУССКИЙ ОТВЕТИТ ОТЕЧЕСТВЕННАЯ НЕЙРОСЕТЬ
Нейросети - это одна из главных технологических игрушек последнего времени. Программисты научили компьютер творить. Просишь нарисовать девочку с персиками – сделает миллион вариантов, причем не хуже, чем у Валентина Серова. Просишь ее написать за тебя сочинение по заданной теме – напишет. Чудеса! Тут и зарубежные разработки нашумели. Да и наши программисты не отстают. Недавно, например, появилась отечественная нейросеть YaGPT. Ее-то мы и отправили на ЕГЭ. Кому ж еще сдавать русский язык, как не русской нейросети?
Сдавала она его в тот же день, что и школьники по всей стране – 29 мая. Мы взяли демонстрационный вариант ЕГЭ по русскому этого года, который опубликован на сайте Федерального института педагогических измерений и дали нейросети выполнить задания из нее, а потом показали результат эксперту по ЕГЭ по русскому языку. Это 26 вопросов в форме теста, плюс 27-е задание – сочинение.
- На всю работу - 3,5 часа, - объясняет кандидат филологических наук, доцент, эксперт в сфере ЕГЭ по русскому языку, заместитель директора Института государственного, муниципального управления и права УРГЭУ Наталья Громова. – Это и на сочинение, и на тест. На сочинение обычно ученик тратит 1,5-2 часа.
СОЧИНЕНИЕ ПО ЩЕЛЧКУ ПАЛЬЦА
Засекаем время и начинаем забрасывать в нейросеть по очереди все задания. Вот одно из них - заменить неправильно использованное слово на верный вариант. Нейросеть отвечает моментально: «Слово «праздный» в предложении надо заменить на «праздничный». И далее по списку: произносить следует не «оптОвый», а «Оптовый»; не «полтораста» рублей, а «полутораста». Щелкает задания как орешки.
Пришел черед финального задания - сочинения. Там история про мужчину, который вернулся в родное село. Герой рассказывает и про облачные фрегаты, и про древний запах папоротника, и про белеющие березки с качающимися купальницами. Нужно прочитать все это и написать по мотивам текст не меньше 150 слов, сформулировать проблему, привести два примера-иллюстрации, проанализировать смысловую связь…
Загружаем текст в нейросеть, нажимаем одну кнопку и… через несколько секунд у нас на руках сочинение.
- Проблема, поставленная автором текста, заключается в том, что автор стремится показать значение родного края для человека, - пишет в сочинении нейросеть. - Он говорит о том, как важен для него родной край, и описывает его красоту и тишину. Автор подчеркивает, что родной край помогает человеку сохранять молодость и лечит душу.
Ну будто человек написал. Нейросеть даже мнением в конце поделилась, как и требует ЕГЭ.
- Мое отношение к позиции автора заключается в том, что я согласен с ним. Я считаю, что родной край действительно имеет большое значение для человека, - говорит компьютер.
Чтобы написать ЕГЭ по русскому языку, нейросети понадобилось чуть больше часа. Окрыленные таким успехом, спешим проверить, сколько баллов удалось набрать.
СЛОВНО ИНОСТРАНЕЦ ПИСАЛ
- С такими результатами она не только в вуз не поступит, но и школу вряд ли окончит, - констатирует эксперт по ЕГЭ по русскому языку.
Тестовую часть нейросеть провалила с треском – всего три правильных ответа из 26! С сочинением другая история.
- Ну, баллов десять на сочинении она бы набрала за хорошую орфографию, пунктуацию и грамматику - замечает эксперт. - Я даже удивилась. Думала, будет что-то страшное. Но это все-таки сочинение, написанное по структуре ЕГЭ. И если бы вы мне сказали, что это написал двоечник из 11 класса, я бы даже поверила. А для человека, который начинает изучать русский язык, это было бы неплохое сочинение.
Проблема в образности. Ну не понимают пока нейросети, что такое черные лошадиные тропы и древний запах папоротника.
- Она поняла, что такое родной край, шелест берез, купальницы и лютики, а все образы потрясающей красоты ей воспринять сложно. В итоге она все сочинение снова и снова, но разными словами, пишет про одно и то же, - рассказывает Наталья Громова. - Большая часть текста не проанализирована, а пересказана. Получается, что она пишет только о том, что ей понятно.
Хотя, отмечает эксперт, кое в чем нейросеть справилась лучше человека - примеры-иллюстрации нашла, все задания последовательно выполнила. Люди же, когда берутся за сочинение, порой так увлекаются содержанием, что забывают о структуре работы, которой нужно следовать. В общем, ЕГЭ по русскому нейросеть не сдала.
ОТВЕТЫ ДАЕТ, ДА НЕ ТЕ
С математикой у нейросети картина похожая. С простенькими задачами она справляется неплохо. Расписывает решение, объясняет свою логику. И на вопрос, сколько сдачи Олег получит со 100 рублей, купив 1,6 кг моркови по 40 рублей за килограмм, правильно отвечает:
- Сдача будет 36 рублей.
Но вот задачку о том, кто больше съел печенья, Маша или Медведь, нейросеть решила неправильно, обделив мишку на 104 печенья. Плюс многие задания были с графиками и таблицами – посмотрел, прикинул и решил. Нейросети пока анализировать рисунки могут не очень хорошо.
Что же с необязательными предметами? Мы решили прогнать ее через вопросы по биологии и географии. И, похоже, в анатомии человека она разбирается не очень. Посыпалась на вопросе о том, как мочевина идет по организму человека. Получилось, что в мочевой пузырь она попадает… из мочеиспускательного канала. Хотя на вопрос, что доказывает эксперимент, в ходе которого у цыпленка вырезали часть бедренной кости, а вырезанная часть потом заросла, нейросеть сделала правильный вывод:
- Этот опыт доказывает, что костная ткань может восстанавливаться после повреждений.
Неплохо справилась она и с некоторыми вопросами по географии. Например, правильно указала, что Гвинейский залив на карте находится западнее Аравийского моря и Бенгальского залива.
Итог, нейросети – настоящее чудо технологического прогресса. Но это явно не инструмент для решения задач по ЕГЭ. И использовать смартфон с нейросетью, как шпаргалку не получится. Во-первых, свои знания все-таки надежнее. Во-вторых, кто же вас на ЕГЭ с телефоном, подключенным к Интернету пустит?
А ВОТ ЕЩЕ БЫЛ СЛУЧАЙ
Нейросети, на пересдачу!
В Уральском федеральном университете в мае нейросетям ChatGPT и Sage устроили экзамен по истории России. И они защитились. Правда, на троечку.
- Выяснилось, что нейросети знают, что такое «завещание Василия III», а когда спросишь, что такое «духовная Василия III», то они уже путаются. Хотя «духовная» - это то же самое завещание, но языком XVI века. Дальше - больше. Обе нейросети неправильно назвали Василия III царем - титул этот появился только при Иване IV Грозном. Ну а Chat GPT и вовсе стал использовать слово «министры», говоря о том времени, когда такого слова в России вообще не существовало, - отметил доцент кафедры истории России УрФУ Михаил Киселев. – Все-таки у меня было желание отправить их на пересдачу. Видно, что знания какие-то есть, но материал нейросети не понимают.
Автор: Данил Свечков – «КП-Екатеринбург»
