На днях я закончил экспертизу около 160 проектов на конкурс грантов. Конечно, в заявке были вопросы про результаты и качественные и количественные. Адекватных ответов было к сожалению мало. Это или безосновательное "увеличится качество жизни" или "XXX человек станут благополучателями". Что делать с этой информацией - не понятно. По моим наблюдениям это происходит от того, что в учебниках по социальному (в первую очередь) проектированию про измерения и измеримость говорят очень мало - "результаты надо измерять".
Википедия об этом пишет довольно скудно: "Критерий измеримость - объясняется, в чем будет измеряться результат. Если показатель количественный, то необходимо выявить единицы измерения, если качественный, то необходимо выявить эталон отношения". Понятнее не становится.
Хочу предложить свой вариант, как эту измеримость можно сделать прозрачной в первую очередь для себя самого и для грантодателя, инвестора, партнера и других стейкхолдеров. Метод называется "8 ВОПРОСОВ ПРО «М»" и разобрать его можно на примере вымышленного проекта про обучение чтению.
8 ВОПРОСОВ ПРО «М»
Итак, допустим, мы хотим организовать индивидуальные курсы по развитию навыков устного чтения. Чтобы цель сделать измеримой, я предлагаю ответь на 8 последовательных вопросов.
1. Временные рамки. К какому времени ждать изменения?
Вопрос довольно простой, ответ можно посмотреть в уставе проекта (он же есть у вас, да?!). Допустим курсы у нас полугодичные, поэтому ответ "через пол года".
2. Влияние. Что вы делаете для изменений?
Здесь тоже довольно просто ответить - что именно вы делает делаете и в каком формате, чтобы достичь изменений. В нашем вымышленном примере ответом будет "формат - индивидуальные занятия по чтению"
3. Предмет воздействия. Что именно изменяется?
Тут важна конкретика. К сожалению, во многих проектах на вопрос "что изменится" часто отвечают "жизнь благополучателей". Понятно, что это не конкретный и не измеримый предмет воздействия. И в нашем случае правильным ответом будет "навыки устного чтения".
4. Направление и масштаб изменений - ... идет вверх или вниз у какого процента аудитории?
Изменения могут быть разные - если мы боремся с какой-то проблемой, то предмет воздействия должен уменьшаться (например число заболевших, если бы проект был про здоровье), если наоборот, что-то хотим улучшить, то показатели должны расти (например, число здоровых людей). Второй важный момент - это количество целевой аудитории, у которого это изменения наступят. В нашем примере с курсами чтения ответом может быть: направление изменений "улучшатся", а масштаб изменений - "у 75% участников". Тут еще и индикатор адекватности, 100% результат редко когда бывает, особенно для начинающих "причинятелей добра".
5. Степень изменения. На сколько именно изменяется?
Помните шутку про "сколько вешать в граммах?" - вот, это наш случай. Здесь мы должны понять, в чем измерять результат. Путь в нашем имитационном примере ответ будет "на два балла" - дальше будет понятно, что за баллы.
6. Индикаторы. По каким признакам будете измерять?
Это продолжение прошлого вопроса - "на два балла за что?". В общем случае ответом на этот вопрос будет то событие или явление, которое является источником данных об изменениях. В нашем случае это "оценка за устное чтение".
7. Инструменты. Каким инструментом будете измерять?
Это с одной стороны простой, с другой - каверзный вопрос. Дело в том, что у довольно низкого числа заявок, что мне доводилось оценивать, этот самый инструмент в явном виде описан в проекте. То есть он как бы предполагается автором, но нам остается только догадываться об этом. Инструментарий для измерения количественных результатов довольно много: начиная от опросника по самостоятельной оценки благополучателя, до признанных и научно обоснованных инструментов в конкретной предметной области. В нашем примере этим инструментом будет "шкала сформированности речи Логиновой-Яковлевой".
8. Момент. В какие моменты будут производиться измерения?
Последний вопрос касается в том числе календарного плана проекта. Дело в том, что провести итоговый опрос, анкету, тест или любой другой способ объективной оценки текущего положения дел у благополучателей - это, безусловно, хорошо. Но если нам не с чем это положение дел сравнить - судить о достигнутых изменениях очень сложно. Типовыми являются входные измерения на старте проекта, текущий мониторинг в ходе реализации, и итоговые измерения, в конце проекта. Разница между входными и выходными данными и будет достигнутый результат. В нашем примере про курсы чтения ответ на этот вопрос - "в начале и в конце полугодичного курса занятий".
Теперь давайте соберем все ответы в один осмысленный текст, и посмотрим, что получилось:
Через пол года индивидуальных занятий навыки устного чтения улучшатся на два балла у 75% участников проекта, что будет измерено с помощью замера и сравнения оценок за устное чтение по шкале сформированности речи Логиновой-Яковлевой, проведенного в начале и в конце полугодичного курса занятий.
На мой взгляд, это необходимая и достаточная формулировка ответа на вопрос про измеримость ключевых результатов. В ней в явном виде не фигурирует только абсолютное число благополучателей, но с учетом того, что это имитационный пример, в ваших реальных проектах это число должно быть указано в явном виде.
Кроме ключевых результатов есть еще косвенные (типа число распространенных листовок, число проведенных встреч и т.п.). Это на мой взгляд результаты отдельных мероприятий проекта, которые приводят к ключевым, то есть тем, ради чего замышляется проект.
Поделитесь в комментариях, как можно применить метод "8 ВОПРОСОВ ПРО «М»" для вашего проекта?