В статье речь пойдет о том, как мы разработали предиктивную ИИ-модель для контроля успеваемости студентов и эффективной профилактической работы в МИСИС
Работая над проектами НИТУ МИСИС было решено продолжить сотрудничество и разработать предиктивную ИИ-модель для контроля успеваемости и эффективной профилактической работы. Теперь кураторы, преподаватели и студенты заранее видят зоны риска снижения результатов обучения, могут вовремя улучшить ситуацию и избежать отчисления.
Что же такое – прогнозирование оценок? На самом деле, в этом процессе нужно предсказать поведение живых людей, ведь академическая успеваемость — результат комплекса различных обстоятельств и событий в жизни человека, а не только учебы. И вот здесь всё сильно усложняется.
Рассказываем об особенностях подхода и результатах решения этой непростой задачи.
Отчисления — проблема для всех участников учебного процесса. Что делать?
Не все поступившие в вуз проходят обучение до конца: средний по России коэффициент удержания студентов ~70%. Отчисление из-за неуспеваемости — неприятное событие для студента и потеря внебюджетного финансирования или госзадания для университета.
Задача — увеличить процент закончивших обучение. Проблема в том, что успеваемость у студентов становится очевидной слишком поздно, когда речь уже идет об отчислении и исправить что-либо крайне сложно. Необходимо решение, способное на ранних этапах выявлять студентов из группы риска.
Так зародилась идея создать для НИТУ МИСИС модель прогнозирования академической успеваемости, интегрированную в ИT-инфраструктуру университета, с доступом для студентов, кураторов и административного персонала. Используя данные о студентах, сервис будет заранее подсвечивать тех, кому нужны помощь и дополнительное внимание.
Цель решения — дать университету возможность поддержать таких студентов и предотвратить их отчисление. А самим студентам помочь вовремя скорректировать свой подход к учебе.
Решили разработать собственную модель ИИ
Мы создали для НИТУ МИСИС собственную модель ИИ по нескольким причинам:
Безопасность данных. Модель работает внутри защищенного контура вуза и обеспечивает конфиденциальность персональных данных. Студенты обезличиваются (заменяются на ID), их данные обрабатываются локально и не передаются внешним сервисам, это многоуровневая защита информации.
Специфические требования университета. Готовые решения не всегда подходят для конкретных задач вуза и его уникальных данных. Даже небольшое изменение параметров требует полного переобучения модели и затрудняет ее использование. А собственная разработка гибкая и позволяет адаптироваться к особенностям университета.
Качество данных. Датасеты часто содержат неточности, пропуски и ошибки. И хотя подготовка данных для обучения требует значительных усилий по очистке и обработке, в собственной модели можно полностью контролировать качество данных на всех этапах.
Компетенции и имидж. Разработка своей модели ИИ демонстрирует компетенции НИТУ МИСИС, а также эффективное использование ресурсов. Это хорошо для имиджа университета и укрепления лидерских позиций в области образования и технологий.
Глобально для успешного обучения любой ИИ-модели важны два ключевых момента:
Во-первых, опытные специалисты по Data Science и ML должны подобрать оптимальные алгоритмы и методы обучения с учетом специфики задачи. Нам в этом проекте предстояло определить наиболее влияющие параметры и разработать эффективную модель прогнозирования успеваемости студентов.
Во-вторых, нужны обширные и качественные данные для обучения модели без искажения результатов. В случае с вузами это предполагает наличие систем автоматизированного сбора и хранения данных о студентах, их успеваемости и т.д. У МИСИС была большая накопленная история, которая позволила нам очень качественно обучать модели.
Сам же процесс разработки сервисов предиктивной аналитики довольно стандартный, им уже никого не удивишь. Поэтому рассмотрим особенности подхода в сфере образования и работы с людьми.
Нюансы проектирования
Ключевое отличие проектирования «сервисов про людей» от технических систем — неполнота и чувствительность данных.
Если мы запрашиваем сбор данных о чем-то техническом, условно, детали на производстве, то там всегда четкий набор параметров. Ни одна деталь не может быть без какого-то параметра. Соответственно, и каждый параметр применим ко всем деталям без исключения. Данный подход можно использовать для обучения модели ИИ.
В случае с людьми ситуация иная. Части данных может не быть, не всё про всех известно. А еще бывает чувствительная информация, использовать которую не всегда уместно и нужно.
Университет МИСИС хранит огромные объемы информации о студентах, только не все эти данные пригодны для обучения модели. Задача — определить необходимые и доступные параметры данных для составления датасета.
Изначально нами было отобрано около 50 параметров данных о студентах. Но одинаковая информация была доступна не про всех: например, о работающих студентах она оказались неполной — это нам не подходит. В результате составили запрос на выгрузку данных, доступных для подавляющего большинства студентов.
На этапе проектирования определили метод обучения предиктивной модели и стратегию работы с параметрами, чтобы обеспечить гибкость и избежать ситуации, когда модель обучается на полном, но некачественном датасете.
Разработку ИИ для предсказания оценок начали с подбора моделей для классификации, в которых заключены несколько алгоритмов. Разные алгоритмы могут иметь различные подходы к обучению на данных, отличаться своей эффективностью в зависимости от структуры и особенностей этих данных.
Мы рассматривали несколько алгоритмов: Случайный лес (Random Forest), Метод опорных векторов (SVM), Градиентный бустинг (Gradient Boosting) и k ближайших соседей. У каждого свои особенности:
- Случайный лес — ансамблевый метод, основанный на создании множества деревьев решений. Он хорошо работает с разнородными данными, но в нашем случае показал низкую точность по метрике средняя абсолютная ошибка (MAE) и не справился с задачами, где есть много зависимостей между параметрами.
- Метод опорных векторов (SVM) — сильный метод для классификации, который пытается найти оптимальные границы разделения между классами. Однако он требует наличия всех ключевых параметров в данных; если какие-то параметры отсутствуют, снижается и эффективность метода.
- k ближайших соседей — простой и интуитивно понятный алгоритм, который ищет ближайшие по значению объекты для предсказания. Мы исключили его, потому что наши данные не формируют четкие группы, что делает метод неэффективным.
- Градиентный бустинг - последовательно применяет предсказание так, что каждая последующая модель сводит предыдущую ошибку к минимуму. Цель: объединение слабых моделей в надежную и точную - идеальное решение при недостатке данных для более точного создания прогноза.
В результате анализа остановились на последнем как наиболее подходящем алгоритме решения нашей задачи.
Чтобы выбрать наиболее эффективную модель протестировали различные библиотеки и инструменты машинного обучения, такие как CatBoost, XGBoost и LightGBM, а также библиотеки scikit-learn.
При анализе использовали стандартные настройки всех инструментов, особое внимание уделив разделению дисциплин на группы. Для оптимизации гиперпараметров выбрали Optuna, который зарекомендовал себя как самый эффективный инструмент повышения качества предсказаний, позволяющий быстро находить оптимальные настройки модели.
Тонкости работы с данными
Обработка информации про людей тоже отличается от технической. Если условные запчасти можем называть прямо, то здесь мы не использовали ФИО студентов, и вуз передавал нам для работы обезличенную информацию.
Дальше, что считать «мусором»? Для деталей размером метр на метр очевидно, что два на полтора — это выброс, брак. А если рассматривать человека с лучшими или худшими результатами, что будет выбросом? По стандартной методологии мы бы таких студентов просто отбрасывали. Здесь же, возможно, нужно рассматривать их как отдельные группы: уточнять количество и искать параметры, влияющие на отклонения от нормы.
Полученные от университета данные были разрозненными: отдельные файлы содержали информацию об успеваемости за разные годы, а также личные и социальные характеристики студентов.
Мы объединили все полученные файлы в один датасет и провели первичную очистку. Проанализировали выбивающиеся группы и исключили только те значения, которые действительно можно было считать аномальными. Например, отсеяли завышенные зарплаты студентов, отличающиеся от общего тренда. Всю остальную, даже нестандартную информацию, сохранили для дальнейшего анализа.
Стали смотреть распределение и искать закономерности. Обычно при большом количестве данных распределение происходит равномерно — это нормальное распределение. У нас же были данные, которые в нормальное распределение не укладывались. Например, скачок отчислений на втором курсе и выбросы по успеваемости на третьем. Почему так происходит?
В НИТУ МИСИС первые два курса общеобразовательные, с философией, математикой, историей и языками. А на третьем — распределение по кафедрам и специальностям, с преподаванием узких дисциплин. Также часто со второго по третий курс студенты начинают работать и меньше времени уделяют учебе. Всё это влияет на просадку в успеваемости.
Дальше запускали обучение модели сначала на всех параметрах, потом выключали один, меняли другой и так далее. Смотрели, что получилось, и можем ли докрутить. Делали точечную настройку и наблюдали, до какого предела можем разогнать. Таким итерационным путем получали нашу готовую модель предсказания успеваемости студентов.
Неочевидная проблема обучения модели
Одно дело обучить модель на точных технических данных по уже сложившемуся алгоритму, другое — по данным о людях. Такая предиктивная модель оказалась очень чувствительной к различиям в поведении и жизненных обстоятельствах.
Основная проблема заключалась в том, что поведение и факторы, влияющие на успеваемость, значительно различаются для трех возрастных групп: абитуриентов, студентов младших и старших курсов.
Абитуриенты, по сути, вчерашние школьники, для которых характерно поведение, сформированное в школе. Их успеваемость можно прогнозировать в основном на основе результатов ЕГЭ, ведь у них еще нет опыта обучения в вузе. И практически никто из абитуриентов еще не работает.
Студенты младших курсов только начинают адаптироваться к университетской среде. На их успеваемость по-прежнему влияет школьная подготовка, но начинает сказываться опыт обучения в вузе и самостоятельная жизнь.
Старшекурсники уже погружены в выбранную профессию, адаптировались к вузу, многие работают. Их поведение и факторы, влияющие на успеваемость, существенно отличаются. И снижение оценок у третьекурсников — нормальная ситуация, в отличие от первого курса.
Так мы пришли к выводу, что для каждой из групп требуется свой набор параметров и отдельное обучение. Чтобы не ломать логику поведения модели, мы разделили ее на три с учетом выявленных отличий абитуриентов, младших и старших курсов.
Решение — создать матрицу моделей
Помимо деления на возрастные группы мы пересмотрели подход к формированию оценок успеваемости. Предположили, что недостаточно просто брать среднюю оценку студента по предмету, поскольку в большинстве случаев она не отражает реальный уровень знаний.
Еще мы отказались от рассмотрения отдельных дисциплин, так как они постоянно меняются, а разделили все предметы на группы: гуманитарную и физико-математическую, химическую и биологическую, техническую, историческую и другие.
Продумали три подхода к формированию итоговой оценки в каждой группе предметов:
Пессимистичный подход предполагает, что на оценку могут влиять случайные факторы, например, лояльность преподавателя. Поэтому как показатель брали наихудшую оценку из группы дисциплин.
Средний подход. Здесь мы рассчитывали среднее арифметическое оценок по группе предметов, считая это наиболее объективным показателем уровня знаний.
Оптимистичный подход. Тут исходили из предположения, что низкие оценки могли быть результатом недостаточного внимания к формальностям и срокам, а не отсутствия знаний. Итоговой оценкой считался наивысший балл в группе дисциплин.
Для каждой возрастной группы студентов разработали несколько предсказательных моделей, основанных на разных подходах к формированию оценки. Так у нас получилась матрица, где каждая ячейка представляет собой модель для конкретной возрастной группы, основанную на подходах к оценке с разным уровнем оптимизма.
При тестировании выяснилось интересное: для разных групп студентов работают разные подходы к оценке. Например, для абитуриентов лучше всего себя показал оптимистичный подход; для младших курсов лучшие результаты давала модель со средним подходом. А модель-пессимист, основанная на худшей оценке, показала худшие результаты во всех группах.
Сравнение моделей и анализ ошибок
Мы провели сравнительный анализ моделей, чтобы определить наиболее эффективный подход к прогнозированию успеваемости студентов НИТУ МИСИС.
Сравнивали модели, обученные на трех возрастных группах с моделями, обученными на гуманитарных и физико-математических группах дисциплин. Каждую возрастную группу рассматривали в позитивной и средней версиях, а пессимистичную исключили как показавшую наихудший результат.
Наиболее точные предсказания успеваемости студентов были у моделей, разделенных на возрастные группы:
Худшую точность и наибольшее отклонение показали модели, обученные по группам дисциплин. Ещё у этого подхода возникла проблема с неоднородностью данных: гуманитарные дисциплины изучают почти все студенты, а узкоспециализированных предметов в данных недостаточно. И это не позволяет обучить модель с хорошей точностью.
Для более наглядной оценки качества работы моделей использовали графики распределения ошибок. Они позволяют увидеть, насколько точно модель предсказывает оценки студентов.
Большинство предсказаний модели находится близко к фактическим оценкам, что говорит о высокой точности работы. Такой анализ позволил сравнить эффективность моделей «оптимист» и «средний» для каждой возрастной группы студентов.
Например, на графике «абитуриентов-оптимистов» видно, что более 9 000 студентов получили предсказание, точно совпадающее с их фактической оценкой. Но есть и отклонения на 0,25 (около 2,5 тысяч студентов), что говорит о наличии некоторой ошибки.
Наличие такого отклонения - это нормально, ведь мы не прекращаем дообучение модели и поиск наиболее подходящих параметров и их весов для прогнозирования оценок студентов.
Как это работает и что дальше
AI Molodca — так мы назвали ИИ-модель предсказания успеваемости студентов НИТУ МИСИС. Сейчас это веб-приложение, работающее в тестовом режиме: еще предстоит определить оптимальный способ внедрения в инфраструктуру и повседневную деятельность вуза. Для этого выделили проектную группу, которая разрабатывает стратегию интеграции и адаптирует процессы.
Важно подчеркнуть, что сервис предиктивной аналитики — инструмент, основанный на математических алгоритмах. Он помогает выявить общие закономерности и тенденции, но не учитывает индивидуальные особенности и мотивацию каждого человека.
Могут быть студенты, чья траектория обучения не будет соответствовать предсказаниям модели. Например, ИИ может прогнозировать тройку, а студент, приложив дополнительные усилия, получит пятерку. Это нормальная ситуация, ведь люди не действуют по шаблону.
Такая предиктивная модель может стать для вузов ценным инструментом управления и снижения процента отчислений. Принести как академические выгоды от улучшения успеваемости студентов, так и коммерческие — повысить удержание студентов и привлечение новых. Сервис дает возможность:
- Упростить и повысить эффективность работы. Автоматизация прогнозирования успеваемости позволяет адресно подходить к взаимодействию со студентами.
- Управлять образовательным процессом. С помощью модели можно эффективнее влиять на вектор развития каждого студента, опираясь на объективные данные и вовремя поддерживая.
- Улучшить качество образовательных услуг. Предиктивная аналитика поможет сделать процесс обучения более персонализированным и эффективным.
К слову говоря, в бизнесе также могут возникать потребности разработки предиктивных моделей. Например, данные модели актуальны для ритейла с прогнозированием спроса доставок, с прогнозированием количества и географии заказов, т.е. решают внутренний спрос. Предиктивные модели могут помочь и в планировании закупок и продажах. Существенно могут улучшить и помочь в количественном прогнозировании и качественном прогнозировании.
Вопросы по проекту готовы обсудить в комментариях. Если у вас есть похожие задачи, вы хотите познакомиться с нами и начать сотрудничать — напишите в Telegram Александру Ходыреву, директору проектов компании «Кеды профессора». Будем рады :)
Александр Ходырев
Что вы думаете о проекте Ai Molodca и о том, как предиктивные модели могли бы помочь в вашем бизнесе?