В предыдущих публикациях мы рассказали о применении в образовательном процессе ряда сервисов на базе искусственного интеллекта.
Сегодня речь пойдет о нескольких интересных экспериментах, которые провели специалисты с отечественным аналогом известного чата GPT.
Что за эксперимент? Его цель была заявлена так: определить образовательные задачи, которые аналог чата GPT способен решить наиболее эффективно.
Задачи выглядели следующим образом:
- Оценивание текстовых ответов на открытые вопросы по ранее разработанной методике.
- Оценивание текстовых ответов «правильно-неправильно».
- Развивающая обратная связь: генерация комментариев в ответ на разнообразные запросы учащихся.
Известно, что для проведения эксперимента были использованы:
- Модель чата, которую никак не «обучали» перед проведением эксперимента.
- Чат, который был «дообучен» на материалах ранее подобранного учебного курса.
Эксперимент с аналогом чата GPT проводился в нескольких режимах:
- Чат-бот. Плюс: сервис «помнит» о предыдущих ответах на вопрос, который дал ИИ, и может выстраивать последовательную логику запросов на основе этого. Минус: нет вариабельности ответов, количество символов в запросе ограничивается.
- Промт-режим. Плюс: неограниченное количество символов в запросе. Возможность настраивать вариативность ответов и при необходимости отключать ее. Минус: в этом режиме сервис не запоминает прошлые запросы.
А результаты? Они крайне неоднозначны. ИИ, который ранее не был подготовлен к подобному образовательному эксперименту, показал себя не лучшим образом: давал непредсказуемые результаты в ответ на запросы или даже «ошибался».
Тогда как «дообученный» ИИ выдал ответы, содержащие терминологию соответствующей учебной дисциплины.
В обоих случаях были выявлены важные недостатки ИИ для образования:
- В некоторых ответах ИИ на запросы отсутствовала логика.
- У ИИ отсутствует критическое мышление
Проведённый эксперимент доказал, что разработка решений для системы образования на базе ИИ может потребовать:
- Дополнительную настройку и программирование технических средств для эффективного взаимодействия учащегося и ИИ.
- Разработку промтов -запросов и получаемых ответов на них, а также критериев оценок.