💡 Мастер-класс «Generative AI in Assessment»
провели
эксперты из NBME (те самые, кто делает экзамены USMLE) и ScholarRx
Основной фокус на том, как перестать тратить сотни часов на написание тестов и сценариев, не теряя в качестве.
1. Когнитивная оценка (MCQ и открытые вопросы)
Тао Ли (ScholarRx) представил данные четырех исследований. ИИ уже может генерировать вопросы уровня USMLE.
• Эффективность: До 91% вопросов, созданных ИИ (GPT-4), признаны пригодными для использования после минимальной правки.
• Продвинутая техника: Сейчас используют не просто «напиши вопрос», а RAG (Retrieval Augmented Generation). Модели скармливают конкретные учебные цели, силлабус и стандарты NBME. Это минимизирует галлюцинации.
• Валидация: Появился термин «Digital Twinning», когда ИИ «клонирует» группу студентов и их типичное поведение на тестах, чтобы предсказать сложность вопроса еще до того, как его дадут живым людям.
2. Оценка навыков (Performance-Based Assessment)
Эндрю Эмерсон (NBME) показал, как ИИ заменяет или дополняет симуляции с живыми актерами (SP).
• Виртуальные пациенты: Студент голосом общается с ИИ-агентом. Система оценивает не только правильный диагноз, но и эмпатию, выбор слов и клиническое мышление.
• Автоматический скоринг: ИИ анализирует транскрипт разговора и выставляет баллы по рубрикам. Это решает проблему «субъективности» преподавателя.
Практические советы для методолога:
1. И снова Human-in-the-loop: ИИ никогда не работает автономно в оценке. Человек-эксперт всегда обязательное звено на входе (промпт) и на выходе (верификация).
2. Используйте закрытые экосистемы: Для работы с реальными данными студентов или кейсами пациентов нужны корпоративные версии ИИ, которые не «сливают» информацию во внешний мир.
3. Многоуровневый промптинг: Не просите всё сразу. Сначала сценарий, вторым шагом правильный ответ, третьим дистракторы (неправильные ответы), четвертым обоснование каждого выбора.
Мы провели SWOT анализ внедрения ИИ в оценку, результаты я изобразил в инфографике с помощью Nano Banana 2 - смотрите приложенное изображение.
Подписывайтесь на МЕДОБР🌏НАВИГАТОР в Телеграм и в Макс
#ИИ #искусственныйинтеллект
