Заседание состоялось на конференции по академическим ресурсам, ежегодной встрече комиссии WASC старших колледжей и университетов, которая аккредитует учреждения в Калифорнии, на Гавайях и на островах Тихого океана.
«Есть парадокс, который озадачивает меня и должен озадачить всех нас», - сказал Джон Этчеменди, бывший проректор Стэнфордского университета, который также является комиссаром Западной комиссии по аккредитации и членом федеральной комиссии, которая консультирует министра образования США по вопросам аккредитации. Доказательства однозначны, сказал он, что «ответ на вопрос - является ли высшее образование тем, о чем оно говорит?» - это абсолютно да», исходя из того, насколько зарабатывают за свою жизнь больше студенты окончившие колледж, чем Американцы без степени среди прочих равных показателях.
"Всякий раз, когда мы пытаемся непосредственно измерить то, что студенты узнали, что они получили от своего образования, эффект незначителен, если таковой имеется. Мы можем видеть общий эффект, но мы не можем прямо показать, что это такое в том, как мы меняем детей."
«Существует оценка говорящая о моем преподавании» и обучении учащихся - понимание того, как ученики реагируют или извлекают выгоды от определенных видов контента или методических подходов, и разработка доказательств, "которые мне необходимо увидеть, чтобы изменить то, как я преподаю что-то".
«Это очень отличается от того, «были ли мы [в высшем образовании в целом] эффективны с течением времени?», - сказал Янковский. Последнее требует сбора «разнообразных доказательств» эффективности по многим направлениям (как экономическим, так и образовательным) для широкой аудитории (политиков, аккредитующих органов, студентов и родителей, работодателей, общественности) и «один тест или измерение [ обучения студентов] не поможет нам в этом пространстве».
Большая часть работы по оцениванию в последнее десятилетие была сосредоточена на попытках разработать поддающееся количественному определению доказательство того, что учреждения помогают своим студентам коллективно учиться с целью создания показателя качества образования, сопоставимого между учреждениями. Этот толчок часто был вызван давлением аккредитаторов на колледжи, который в свою очередь было вызвано давлением федерального правительства на аккредитаторов.
Именно из-за этого восприятия аккредитаторов заслуживает внимания тот факт, что западный аккредитователь при своем новом президенте Джейми Стадли организовал разговор, в котором задавались сложные вопросы об оценивании.
«Мы выбрали тему «Провокационные вопросы, смелые ответы», чтобы подчеркнуть, что WSCUC стремится к той же саморефлексии и постоянному совершенствованию, которого мы ожидаем от наших учреждений, - сказал Стадли. - Если все сделано хорошо, оценивание - это мощный инструмент, который поддерживает успех студентов. Оценивание, безусловно, развивалось с самых первых дней, и наша ответственность как аккредитатора заключается в том, чтобы поощрять ее мудрое применение в контексте эффективного надзора и улучшений, ориентированных на справедливость и важные результаты для всех учащихся».
Достижение этой цели потребует выхода за пределы того, что Янковски назвала «оценкой как бюрократической машиной», что часто приводило к тому, что учреждения объединяли непродуманные усилия, чтобы попытаться измерить что-то, чтобы доказать, что они это делают.
«Во многих местах, - сказала Янковски, - было такое: «Вам нужны результаты обучения - соберите что-нибудь вместе». «Что такое результаты обучения? «Мне все равно. Просто заполните это.
Пришло время для тех, кто занимается оцениванием, «признать, что у всех в первом раунде был «горячий беспорядок»», - сказала она. «У нас был раунд оценки, который был действительно вреден, невероятно сфокусирован на измерениях».
Как может выглядеть раунд 2?
Но «нам нужно меньше беспокоиться о том, как работает оценивание», - сказал Этчеменди, и больше о том, чтобы периодически проверять, «учим ли мы тому, чего пытаемся достичь, и является ли дизайн хорошим проектом, или, может быть, времена» изменились.
«Если мы обнаружим, что наш класс не работает или что наши ученики не получают того, чего мы хотим, чтобы они вышли из класса, то я думаю, что мы все попытаемся изменить это. Это хорошая часть оценивания, и я думаю, что кто-нибудь может купить это. "
Если усилия по измерению обучения учащихся количественным методом были контрпродуктивными, как должна выглядеть конструктивная оценка?
Это должно начаться, сказала Янковски и другие, с понимания того, что учебное заведение (или преподаватель, на детальном уровне) хочет, чтобы студенты знали и могли делать.
Шэрон Б. Хэмилл, профессор психологии развития и директор факультета Института паллиативной помощи при Университете штата Калифорния в Сан-Маркосе, предложила форму «обратного дизайна», сосредоточенную на том, «где я хочу, чтобы они закончили, и затем как я могу помочь им туда добраться, - сказала она. «Подумайте сами, «если они не помнят другое, они запомнят это».
Роберт Ширеман, старший научный сотрудник Century Foundation и бывший чиновник администрации Обамы, который выступил против того, что он называет "бессмысленным" фокусом на результатах обучения студентов, присутствовал на сессии западного аккредитора, а затем провел еще одну под названием "Улучшение оценки, накинув поводок на догму". Он сказал, что учебные заведения должны сосредоточиться на том, чтобы студенты продолжали учиться и понимали, что мешает тем, у кого это не получается.
Сосредоточение внимания на таких результатах не обязательно отражает объем или качество обучения, поскольку известно, что учебные заведения позволяют студентам продолжать свои программы, не требуя многого в ответ.
Лучший способ оценить это, сказал Ширеман, - это делать «выборочные проверки артефактов преподавательского и учебного процесса (студенческая работа, обратная связь с инструктором и т. д.). В идеале, будут доступны портфолио студенческих работ, а не избирательно выбранные для публичного рассмотрения (или, по крайней мере, внешнего экспертного обзора). Это должно быть организовано школой, но проверено аккредитаторами ". По его словам, такой подход должен быть направлен на защиту от дипломных фабрик или других менее качественных учреждений.
Но как можно было бы ответить на вопрос, с которого началась сессия западного аккредитатора: «Достигло ли высшее образование того, о чем говорилось?» Если это не связано с оценкой результатов обучения студентов на уровне курса или учебного заведения, то это должно быть с «внешними, объективными измерениями, которые косвенно измеряют успех программы и учебного заведения - вещи, которые нельзя обмануть», сказал Этчеменди.
«Закончат ли они учебу, управляют ли они высокооплачиваемой работой через 10–15 лет, возвращают ли они свои кредиты, что они думают об их учреждениях?» он сказал. «Это то, что действительно интересно в измерении».
