Я взял список вопросов на экзамен по моему предмету.
Всего вопросов - 24
По одному вопросу я загружал в поисковую строку браузера.
Потом я нажимал клавишу "Enter".
Результат.
На 8 вопросов Искусственный интеллект (ИИ) дал вполне правильные ответы.
При этом два правильных ответа были правильными только на половину, они были недостаточно полными, то есть ответ только на половину вопроса, половинчатый. Если бы студент так ответил на устном экзамене, то он получил бы дополнительный вопрос. А если бы это был письменный экзамен, то такой ответ на "удовлетворительно".
На 16 вопросов ИИ давал ответы, не имеющие отношения к теме предмета. Или просто не давал никакого ответа, были только ссылки на статьи.
А в этих статьях ответ искать студент не сможет. Да и не содержатся они там чаще всего.
Так что ИИ получил бы в лучшем случае оценку "Удовлетворительно" по моему предмету, если бы в билете было три вопроса, и если бы статистика правильности его ответов по этому конкретному билету в среднем отражала общую глобальную статистику. Ну, или скажем так, если бы билеты по три вопроса раздавались большому числу виртуальных студентов, каждый из которых использовал бы ИИ, то 33% экзаменующихся имели бы шанс на отлично (если бы всем им повезло с вопросами), а остальные 66% - получили бы двойки. А если бы правильные и неправильные ответы распределились поровну на всех, тогда все они получили бы "удовлетворительно".
В среднем.
Читайте мою книгу "Горе от ума - 21 век"