Добрый день, уважаемые читатели! У меня возникла мысль узнать, насколько хорошо искусственный интеллект умеет решать задачки первой части ЕГЭ по химии. Давайте посмотрим на статистику, на которой показано, какой процент школьников с разным уровнем подготовки справляется с задачами первой части:
Какие задания будем решать?
Видно, что сильные ребята легко справляются практически со всеми заданиями первой части, а вот у ребят, подготовленных чуть хуже, трудности вызывают вполне определённые номера. Давайте будем ориентироваться на 3 группу - это экзаменуемые с хорошей подготовкой (первичный балл: 30–45; тестовый балл: 61–81).
Определим эти номера по графику: на соответствующей синей кривой характерный процент выполнения заданий сильно проседает в номерах 4, 7, 8, 12, 17, 18, 22, 24, 25, 28. По этим заданиям и будем определять уровень подготовки нашего искусственного интеллекта.
Для хоть какой-нибудь статистики будем решать не по одному номеру, а например, по 20. Варианты заданий будем брать из открытого банка заданий ФИПИ.
Пришлось потратить кое-какое количество времени, чтобы ChatGPT прорешала все задачи. Получился вот такой график. Повторные запросы проверить свои ответы приводили только к ухудшению/сохранению результата. Видно, что у нашего искусственного интеллекта есть сильные и слабые стороны:
- он довольно-таки легко справляется с заданиями под номерами 4, 17, 18, 22, 25.
- Совсем всё плохо у него с 7, 8, 12 и довольно посредственно с 24 и 28, поэтому за подсказками в этих номерах я не советовал бы к нему обращаться, а предпочёл бы поискать правильные решения и сам ход мысли из других источников.
Давайте теперь сравним процент выполнения заданий ChatGPT и экзаменуемых с хорошим уровнем подготовки:
В среднем школьники справляются стабильнее с этими заданиями, чем наша нейронная сеть. Ребят не подводит химическая интуиция и знания в заданиях 7, 8 и 12, чем искусственный интеллект похвастаться не может.
Постараюсь в будущем ещё протестировать нейросеть Gemini, может, она лучше справится с задачками первой части, заодно и сравним её с ChatGPT. Да, ещё не будем забывать, что у нас есть вторая часть, которая для нейронной сети может стать трудным испытанием, а, может, и нет;).
До восстания машин нам ещё очень и очень далеко, а ЕГЭ вот-вот уже на носу, поэтому продолжаем работать и у вас обязательно всё получится.
Подписывайтесь, чтобы не пропускать новые статьи и ролики! Желаю всего самого наилучшего!