Может ли ChatGPT генерировать тестовые задания для курса обучения? Проведём эксперимент и разберёмся.
Да-да, понятное дело, что GPT понимает как и какие слова использовать/не использовать, опираясь на контекст. Но создавать тестовые задания не так просто как может показаться. На текущий момент я не видел в доступе специально обученных моделей для столь сложной задачи.
Давайте проведём очередной эксперимент и посмотрим на эффективность составления тестов от ChatGPT:
1. Так-с, вопрос первый: «С чего начать и чем завершить разработку тестов. И почему именно в данной последовательности?».
Например, доктор педагогических наук Аванесов Вадим Сергеевич в своей книге «Композиция тестовых заданий» представил вполне обоснованные этапы разработки педагогических тестов.
GPT сможет ответить? Да, но без источников. Просто сгенерирует «свои этапы».
2. Второй вопрос касается многообразия типов вопросов, которые имеют свои требования к их разработке. Условно те же тестологи, например, делят критерии применения ответа с одиночным выбором и множественным. Чтобы понять о чём я говорю, сгенерируем по готовому тексту тестовый вопрос и ответы на него.
Вопрос: В тексте говорится, что учебная мотивация взрослых имеет ряд глубоких особенностей. Какие из следующих особенностей являются наиболее важными?
Ответы:
1. Она связана с когнитивными искажениями.
2. Она зависит от жизненных ценностей и карьерных целей сотрудника.
3. Она может быть позитивной или негативной.
Правильный ответ: Все вышеперечисленные особенности являются важными.
А GPT знает, что не рекомендуется использовать в ответах «все вышеперечисленное верно», и почему?
Ещё пример? Поехали, но теперь с одиночным вариантом ответа.
Вопрос: Автор текста предлагает делегировать задачу по работе с учебной мотивацией сотрудников корпоративному психологу. С какой целью он это делает?1. Чтобы повысить эффективность работы корпоративного отдела обучения.2. Чтобы снизить нагрузку на сотрудников отдела обучения.3. Чтобы обеспечить более индивидуальный подход к работе с учебной мотивацией сотрудников.
Правильный ответ: Чтобы обеспечить более индивидуальный подход к работе с учебной мотивацией сотрудников.
А GPT знает что, например, ответ 2 может быть верным, т.к. мы не можем исключить тот факт, что делегирование задачи по работе с учебной мотивацией сотрудников корпоративному психологу не снижает нагрузку на сотрудников отдела обучения? Да, в данном случае он неверный, но ответ может быть верным, даже если его нет в контексте текста, который мы предъявляем для GPT.
Условно: апельсин оранжевый? Да. Мы пишем в ответах, что он сладкий и устанавливаем ответ как неверный, что часто и делает GPT.
А уровень знаний/опыта целевой аудитории обучающихся GPT сможет учесть при формулировании более сложных вариантов ответов? Интересный вопрос.
А ещё GPT не обладает глубоким пониманием предметной области, которую он тестирует. Чтобы создать эффективный педагогический тест, необходимо понимать, что именно должен знать и уметь по всей образовательной программе студент. Короче говоря, тут вопросов больше, чем ответов...
3. Ну и самый интересный вопрос: Как проверить валидность тестовых заданий? GPT сможет это сделать, или снова нужно подключать человеческий фактор?
Если говорить простым языком, то валидность определяет, насколько тест отражает то, что он должен оценивать. Поставили цель измерить знания основных терминов по стратегическому менеджменту — получили результаты в виде данных измерений.
Вывод: лично я на месте того же руководителя не доверил составлять GPT тестовые задания, зная количество рисков. А вот проектировщику обучения, у которого перед собой всегда открыта «настольная книга» в виде «Алгоритма разработки тестовых заданий» — да.
А как думаете вы? Делитесь своими наблюдениями в комментариях