Авторы: Томас Миллер и Мелисса Ирвин
⌚ 9мин
За последние десять лет в Университете Южной Флориды (USF) произошло резкое улучшение успеваемости студентов, которое измеряется показателями успеваемости в течение первого года обучения, четырехлетнего выпуска и шестилетнего выпуска. Каждый из этих показателей существенно улучшился. Чтобы продвигать постоянство и завершение, университет осуществил широкий спектр программ, методов и политик, основанных на университетском Отчете Целевой группы Студенческого успеха студента, выпущенном в апреле 2010. Эти инициативы включали многие из стандартных студенческих инициатив, которые имеются во многих колледжах и университетах, в том числе учебные сообщества, профессионализация академического консультирования, постепенное увеличение требований к поступающим, перепланировка курсов, расширение жилья на кампусе и содействие вовлечению студентов.
Тем не менее, с 2013 по 2015 год, в середине этого десятилетнего периода, показатели удержания и выпуска уравновешивались. Коэффициент удержания тех, кто «Первый раз в колледже» (FTIC) выровнялся на уровне 89% в когорте 2013 года, а затем снизился до 88% (см. Рисунок 1).
В то же время показатель четырехлетнего процента выпуска неуклонно рос до 2013–2014 годов, когда улучшения нивелировались (см. Рисунок 2).
Шестилетний выпускной уровень одновременно достиг плато результативности, начиная с 2013 года (см. Рисунок 3).
Организация вокруг Студенческого Успеха
Поскольку штат Флорида использует коэффициент удержания FTIC и шестилетний процент выпуска для признания и вознаграждения университетов штата за результативность, USF уделяет первостепенное внимание повышению этих двух показателей. В результате они были вынуждены найти новые способы выявления и определения приоритетности студентов, нуждающихся в помощи. Сначала они обратились к собственной модели прогностической аналитики, увидели некоторые положительные результаты, а затем развернули современную платформу прогностической аналитики от Civitas Learning в 2014 году. Когда инструмент впервые заработал, администраторы подумали, что он скажет им, что сделать. Они быстро поняли, что прогностическая аналитика ничего подобного не сделает. Вместо этого им пришлось выяснить, как передать аналитическую информацию в руки обученных экспертов, которые знали, как доставить нужную поддержку нужному студенту в нужное время.
Затем осенью 2015 года представители USF решили объединить три отдельных организационных подразделения в одно. Студенческая служба, в которой работают 380 штатных сотрудников и бюджетная ответственность достигает 80 миллионов долларов, была объединена с бакалавриатом, сложной операцией с академическими функциями, включающими управление учебными программами, академическое консультирование и ориентацию на нового студента. К этим двум подразделениям присоединилась третья организация, «Планирование регистрации и управление», в которой размещались приемные комиссии, финансовая помощь и регистратор. Эти три организации стали известны как «Успех студентов» и возглавляются одним вице-президентом. Эта договоренность дала всем организациям чувство сосредоточенности и ясности цели. Цель состояла в том, чтобы продвинуть студенческий успех, постоянство, и выпускные курсы.
Кроме того, интенсивное общеуниверситетское внимание к этим показателям привело к созданию в январе 2016 года межфункционального комитета по постоянству. Сочетание искусственного интеллекта или искусственного интеллекта с человеческим интеллектом и страстью породило мощную модель успеха студентов, которая вытеснил USF со своего «плато» и продолжает поддерживать все более высокие показатели настойчивости и завершенности.1
Приложения искусственного интеллекта
USF использует искусственный интеллект, или интеллект, который специально создан различными способами.
Модель удержания первого года (FYR)
Исследователи из USF разработали прогностическую модель, целью которой является определение шансов, что студент в летней или осенней когорте FTIC будет сохраняться до конца второго осеннего семестра. Модель FYR использует данные до зачисления и приложение логистической регрессии для создания прогноза постоянства. Данные включают в себя информацию о процессе приема (например, баллы SAT / ACT, усредненная оценка в средняя школа, пол, этническая принадлежность, место жительства во Флориде). Второй участник этой модели - администрация Обзора участия начинающих учащихся в колледже (BCSSE). Инструмент обследования распространяется и собирается во время летней ориентации, а коэффициент возврата очень близок к 100%. Данные BCSSE, использованные для разработки модели, включают планы студентов по работе за пределами кампуса, академическую и финансовую уверенность, ожидаемые академические трудности и планы совместного обучения. Модель генерируется каждый год, основываясь на опыте постоянства самого последнего класса. Сортируя когорту FTIC по процентам шансов на сохранение, 12% когорты с наименьшей вероятностью сохранения идентифицируют для дополнительной поддержки, и эти студенты становятся группой FYR когорты.
Инициатива FYR использовалась USF с 2008 года, и модель показала разумную степень точности на протяжении многих лет. Прогнозировать поведение человека почти всегда неточно, но модель расслаивает студентов по их потребности в поддержке и определяет группу, в которой университет может лучше оказать помощь.
Другие инструменты прогнозирования, разработанные USF
Чиновники USF стали беспокоиться о студентах, чьи оценки были в диапазоне B / C и которые не были подобраны по модели FYR. Конечно, многие студенты, чьи оценки по первому семестру были в этом диапазоне, были в порядке, но исследователи хотели лучше определить тех, кто мог бы получить дополнительную поддержку. Используя тот же набор данных, который использовался в модели FYR (все данные до зачисления), они разработали инструмент прогнозирования, чтобы предвидеть, каким будет первый GPA каждого осеннего семестра. Если модель предсказывала, что студент получит 3,6 балла, а студент вместо этого получит 2,6 балла, это означает, что контактная с ним может быть полезный, когда кто-то посещает студента, чтобы оценить успеваемость, поощрить и / или предложить направление для помощи при необходимости.
Для решения проблемы четырехлетнего выпуска, чиновники USF разработали ежегодный проект «Завершить в четыре года» (FIF). Летом четвертого курса учащегося делается попытка стимулировать выпуск в августе. Этот опыт может быть безумным для студентов (и преподавателей и персонала, которые вовлечены), и многое определяется в короткий трехмесячный период. Чтобы ослабить давление, вызванное FIF, исследователи разработали инструмент, который прогнозирует шансы студентов на завершение в четвертый год (или раньше) на основе записей и данных, полученных после второго осеннего семестра. Вместо трехмесячной суеты это дает консультантам, адвокатам и студентам пять семестров, чтобы перейти к опыту четырехлетнего выпуска. Та же самая модель предсказывает, какие студенты при поддержке могли бы получить высшее образование в течение шести лет, что является еще одной целью, которую стоит достичь.
Прогностическая аналитика Civitas Learning
Разработка и использование собственных прогностических моделей заложили основу и послужили стимулом для развертывания более крупной прогностической аналитической модели. Как отмечалось выше, в 2014 году университет заключил контракт с Civitas Learning на развертывание прогностической платформы. Эта платформа, основанная на Информационной системе студента (Banner) и Системе управления обучением (Canvas), объединяет данные за более чем десять лет и использует около 300 переменных в сложной модели, которая прогнозирует вероятность того, что отдельный студент останется в следующем году (или семестре). Платформа позволяет администраторам сортировать студентов по колледжу, группе, расе, этнической принадлежности, полу и многому другому. После выбора желаемых групп учащихся (которые могут включать, например, весь входной класс), модель Civitas сгенерирует (1) список наиболее мощных предикторов устойчивости для этих учащихся и (2) список учащихся, отсортированный по пяти категориям на основе их вероятности постоянства.
Приложения человеческого интеллекта
USF и его студенты сильно зависят от планового, целенаправленного участия человека в ответ на инструменты прогнозирования.
Нужна стратификация помощи
Важный результат использования инструментов прогнозирования позволяет USF получать правильную помощь нужному студенту в нужное время и от нужного человека. Персонал университета признает, что многие студенты могут перемещаться по учебному заведению, используя услуги и поддержку по своему усмотрению. Например, модель FYR указывает, что 88% студентов USF не будут нуждаться в «дополнительной» поддержке или помощи, или, если они это сделают, они сами организуют это. Средний прогнозируемый уровень стойкости этих студентов составляет 93%. Их фактическая стойкость, не случайно, составляет 93%. Им не нужен дополнительный «лифт». Научная идентификация студентов, которые действительно нуждаются в поддержке (12%, которые становятся группой FYR), является важным элементом инициативы успеха студентов. Другие прогностические модели, используемые USF, имеют тот же эффект: они стратифицируют потребность студентов в поддержке. Это позволяет персоналу университета сосредоточить свое внимание там, где это необходимо больше всего.
Управление помощью
USF характеризует свои инициативы по успеху студентов как «управление помощью». В некоторых средах это называется «управление кейсами», но точка зрения USF заключается в том, что усилия по поддержке должны осуществляться с заботой и что учащиеся должны чувствовать, что они имеют значение. Существует общее ожидание, что каждый, кто обслуживает студентов в USF, должен сделать это полезным, поддерживающим образом.
Академические адвокаты
Офис академической адвокации укомплектован четырнадцатью «адвокатами», которые работают со студентами, находящимися в бедственном положении. Во многих случаях причиной этого стресса являются другие вопросы, влияющие на благополучие студента, и адвокаты обучаются и ориентированы на то, чтобы направлять студентов к ресурсам, которые могут помочь в решении этих вопросов. Адвокаты сортируют проблемы, используя множество точек данных из различных источников, в то же время сотрудничая с партнерами кампуса, чтобы обеспечить наилучшую поддержку для студентов. Адвокаты назначаются в определенные группы, поэтому размер группы, которой они служат, вполне поддается контролю. Работа остается выполнимой, предоставляя студентам целенаправленную помощь, используя методы стратификации риска, основанные на данных, которые являются центральными для эффективного управления помощью. Офис академической защиты начал свою работу в 2015 году с тремя адвокатами. Рост персонала является отражением качества работы, которую они производят, и напрямую связан с улучшением успеваемости учащихся.
Академические советники
USF имеет в значительной степени децентрализованную систему академического консультирования, при этом в каждом из академических колледжей работает своя команда академических консультантов первичной роли, чтобы помочь студентам в выборе основных предметов, выборе курса и принятии общих академических решений. Как ресурс для локализованного непосредственного ухода за студентами, академическое консультативное сообщество служит важным человеческим ресурсом в обеспечении своевременного руководства, поддержки и вмешательства для студентов. Совет по академическому консультированию является координирующим органом для консультантов и служит механизмом для постоянного согласования работы в каждом колледже с общими приоритетами успеха студентов университета. Хотя консультанты отбираются на основе их способности демонстрировать заботу и профессиональные знания, они также участвуют в передовых технологиях консультирования, используя многие из инструментов, упомянутых выше.
Интервенты удержания на первом году (FYR)
Обладая десятилетним опытом применения модели прогнозирования FYR, администраторы USF смогли усовершенствовать способы связи с теми студентами, которые определены как те, кто может получить дополнительную поддержку. В первые годы администраторы обзванивали или иным образом связывались со студентами для установления связи. Это не срабатывало. Мы узнали, что лучшими людьми для этого контакта были те, с кем у студента уже были отношения или с которыми развитие отношений было по крайней мере естественным. Таким образом, вмешательство FYR - это постоянные советники (RA) в общежитиях, инструкторы академических фондов (ярлык USF для семинара первокурсников) и научные советники. RA живут со студентами, которым они помогают, поэтому, когда им даются имена идентифицированных FYR студентов, они могут естественно вступать в контакт со студентами и сохранять поддерживающие отношения. Точно так же, когда преподаватели Академического фонда получают информацию о студентах, которым нужна дополнительная поддержка, они могут легко попросить студента вступить в разговор. И, конечно, когда академические консультанты узнают, что конкретный студент получит дополнительную поддержку, они могут просто запланировать дополнительное время, чтобы провести с этим студентом.
Это может быть одним из наиболее эффективных способов использования человеческого интеллекта в ответ на искусственный интеллект в USF. Люди, с которыми у ученика уже есть или будут иметь поддерживающие отношения, - это те, кто обращается к ученику и формирует связь. Там нет структуры для вмешательства и нет сценария для разговора. Связь должна быть естественной и «органичной», чтобы она была удобной для обеих сторон.
Комитет настойчивости
В январе 2016 года USF сформировала многофункциональную команду для управления инициативами по достижению успеха студентами, отслеживания того, где успехи учащихся находятся под угрозой, и выявления системных и политических проблем, которые мешают успехам учащихся. Небольшая команда из шести или семи человек в настоящее время представляет собой группу из двадцати семи человек - активную команду, представляющую многие стороны ландшафта USF, включая жилье, финансовую помощь, кассу, регистратора, омбудсмена, академического консультирования, Управление поддержки принятия решений, декана факультета международных студенческих сервисов и, конечно, Управление академической адвокации.
Члены Комитета настойчивости создали рабочий процесс, в котором они получают еженедельные отчеты из ведомственного исследовательского бюро, которое генерирует списки с платформы Civitas. Эти списки "помечают" всех студентов, чье поведение, как описано в Canvas или Banner, предполагает, что они вряд ли сохранятся до следующего осеннего семестра. Данные Canvas почти в реальном времени демонстрируют оценки, которые получает студент, или участвует ли студент в онлайн-дискуссиях и других задокументированных учебных процессах. Отчеты Civitas обновляются еженедельно, чтобы указать, остается ли конкретный ученик озабоченным или чтобы обстоятельства, сигнализирующие о тревоге, были смягчены.
Комитет собирается раз в две недели, чтобы обсудить пути повышения успеваемости учащихся. Участники нанимают менеджмент по помощи, чтобы выбрать лучший ресурс USF для отслеживания с выявленными учащимися. Адвокаты сообщают о прогрессе в ключевых областях, а комитет рассматривает показатели успешности в зависимости от колледжа, пола, этнической принадлежности и других переменных. Вопрос о том, кто является лучшим человеком, который может обратиться к интересующемуся студенту, является центральной частью каждого разговора комитета настойчивости.
Студенты с высоким приоритетом
Одна классификация студентов привлекла внимание администаторов Комитета настойчивости. Это те, которые помечены как «Высокий приоритет»: студенты, которые поступили в университет непосредственно из приемных семей и являются подопечными штата Флорида, которые пережили бездомность или пришли из семьи, чей доход ниже уровня бедности. Человеческий интеллект и здравый смысл, а не искусственный интеллект, представленный данными или моделью прогнозирования, порождают эту обеспокоенность USF и мотивируют поддержку университета этими студентами. Забота о людях, которые в первую очередь заботятся о студентах, является движущей силой улучшения USF в достижении успеха.
Соединяя искусственный и человеческий интеллект
Поскольку многие партнеры университетов вкладывают средства в успешную работу студентов, используя любое количество методов, поддерживаемых данными, USF должна намеренно спланировать согласованность всех этих усилий. По этой причине была создана технологическая платформа Archivum Insights для облегчения улучшенного взаимодействия и сотрудничества между областями обслуживания учащихся с использованием инструментов инфраструктуры: поиска учащихся, заметок, рефералов и дел. Начиная с осени 2016 года, ИТ-организация создала раннюю платформу для Archivum, используя в качестве руководства принципы управления помощью и усилия по раннему информированию в рамках Управления академической защиты. Первая итерация системы установила примечания (как документированное действие) и рефералов (как призыв к действию) как центральные механизмы для стимулирования пассивного и активного сотрудничества между профессионалами успеха студентов, работающими для удовлетворения потребностей студентов бакалавриата. Были начаты случаи, чтобы поддержать работу сотрудников Бюро академической адвокации в качестве сети «менеджеров помощи» для успешной работы студентов, координирующих информацию и ресурсы, предоставляемые от всех партнеров, как способ согласовать устранения академических барьеров, с которыми сталкиваются популяции студентов, которым прежде всего нужна помощь. Вся эта деятельность сохраняется и доступна в архиве студентов Archivum, стратегически предназначенном для отображения обзора различных факторов успеха студентов (например, FYR, Civitas).
Кроме того, платформа выросла и теперь включает в себя: (1) назначенную «Команду помощи» для отображения разнообразных специалистов по успешной успеваемости студентов, оказывающих непосредственную поддержку студентам, и (2) информационную панель выпускных экзаменов (например, «Завершить в четыре года») для отслеживания важных элементов данных, специально определенных как неотъемлемые для повышения уровня выпуска. Число университетских партнеров, участвующих в Archivum Insights, продолжает расти - от первых, кто начал обучение в сфере академической адвокации, академического консультирования, финансовой помощи и карьерных услуг, до других в области обучения на дому, новых студентов и финансового образования. В 2017 году Archivum Insights был интегрирован с Canvas, чтобы предоставить преподавателям прямой доступ к процессу рефералов - направления, не выходя из среды LMS. В следующем году была запущена надежная панель планирования встреч, чтобы предоставить учащимся функциональные возможности онлайн-планирования и соединить ресурсы управления кейсами новых консультантов с инфраструктурой связи и совместной работы в Archivum. Успех системы демонстрируется увеличением числа направлений и назначений, что свидетельствует о более высоком уровне взаимодействия с технологией сотрудничества.
Вывод
Университет Южной Флориды, крупный государственный исследовательский университет, в котором обучаются более 50 000 студентов в трех кампусах, выяснил, как использовать возможности как искусственного интеллекта, так и человеческого интеллекта, чтобы добиться впечатляющих успехов в успехах студентов. Два направления неразрывно связаны между собой: одно без другого оставило бы университет в замешательстве. Независимо от того, насколько мощной или прогнозирующей является аналитическая модель, ей все равно нужны люди - люди, которые заботятся о студентах и обучены их обслуживать, - чтобы обеспечить необходимую поддержку и руководство. USF гордится успехами студентов. Наша награда? Студенты, которые выигрывают.
Примечание
См. Также изучение кейса USF: Пол Досал, «Культура, уход и прогнозная аналитика в Университете Южной Флориды» - "Culture, Care, and Predictive Analytics at the University of South Florida," , EDUCAUSE Review, 9 декабря 2019 года.
Томас Миллер - доцент педагогического колледжа Университета Южной Флориды.
Мелисса Ирвин является помощником декана бакалавриата в Университете Южной Флориды.
