Онбордингу уделяется большое внимание, однако есть некоторая ловушка, в которую частенько попадают. В добавляете наставников в программу обучения, наводите порядок с доступами к системам, учите руководителей быстрее и качественнее обучать новичка. Внутри команды появляется ощущение, что теперь точно будет лучше.
Потом в какой-то момент к вам приходят и просят подтвердить реальный эффект от изменения системы онбординга. И здесь оказывается, что в HR редко получается сделать классический A/B тест. Мы не можем рандомизировать людей как пользователей в продукте, не можем легко держать одинаковые условия. И даже если можем, часто это выглядит странно и этически и организационно.
Зато можно сделать другое. A/B без A/B, то есть квазиэксперимент. Не идеальный, но зато достаточно корректный, чтобы опираться на него в решениях.
До/после почти всегда обманывает
Самый популярный подход выглядит логично: сравним новичков до изменений и после. Если метрики улучшились, то значит что адаптация сработала.
Проблема тут в том, что вы в этот момент сравниваете не программы адаптации, вы сравниваете два разных мира.
Рынок труда меняется, и он может быть далеко не однородным в два сравниваемых отрезка времени. Мог поменяться набор вакансий, в компании мог вырасти или упасть темп найма. Даже ожидания к сотрудникам могли стать другими.
И вот метрика двигается, а вы начинаете приписывать это онбордингу - хотя на самом деле онбординг просто оказался рядом.
Поэтому полезно зафиксировать одну мысль, которая спасает от самообманов: если вы хотите доказать эффект, вам нужно строить сравнение так, чтобы оно переживало изменения вокруг. А иначе вы будете каждый раз рассказывать историю, которая держится на совпадении.
A/B без A/B - это сравнение когорт, а не месяцев
Самая рабочая единица в квазиэксперименте - это когорта, то есть группа новичков, которые вышли в примерно одно и то же время и попали в максимально похожую среду. Обычно это окна по 6-10 недель. Для одного месяца может быть мало данных, а за полгода рынок может поменяться десять раз.
Вам нужны две группы: 8 недель до изменений и 8 недель после изменений.
И дальше вы делаете шаг, который отделяет “просто аналитику” от попытки реально что-то доказать: вы перестаёте мешать всех в одну кучу.
Потому что все новички - это всегда координально разные сотрудники. Джуны, синьоры, разные функции, разные руководители, разные типы работ. Адаптация работает по-разному для разных сегментов, и именно поэтому среднее по больнице чаще всего уводит вас в сторону.
Если в группе "после" у вас стало больше джунов - скорость встраивания упадёт даже при идеальном онбординге, а если стало больше сильных специалистов, то вы увидите рост и решите, что это заслуга программы.
Приём, который резко повышает качество
Есть один трюк, который резко улучшает доказательство: найдите людей, которых изменения адаптации почти не коснулись.
Например, вы улучшили онбординг для офисных специалистов, но производственный контур не трогали. Или внедрили новую адаптацию в одном направлении подбора, а другое оставили как было.
Тогда вы сравниваете не просто до/после, а то, как изменилась разница между группами. Это уже классический метод разницы в различиях (более подробно писал про этот метод тут).
Почему это важно? Потому что если рынок труда стал жёстче, он стал жёстче для всех. Если сезонность поменяла поведение людей, она поменяла его для всех. Если руководители стали строже, они стали строже не только в той команде, где вы сделали новый онбординг.
Вы как будто вычитаете шум среды и оставляете то, что могло быть связано именно с изменением процесса.
Две метрики
В адаптации очень легко выбрать метрики, которые приятно показывать. Сколько встреч прошло. Сколько задач в чек-листе закрыто. Сколько курсов пройдено. Как люди оценили онбординг в опросе.
Это всё полезно, но это почти всегда про процесс. А процесс может быть идеальным на бумаге и при этом в действительности не менять результат, и чтобы не обмануться, вам нужны две метрики, которые смотрят на реальность с разных сторон.
Первая, это Доля новичков, которые дожили до конца испытательного срока, то есть вероятность дойти до 90 дня. Не важно, ушёл человек сам или его не оставили - системе не удалось его удержать. Эта метрика хороша тем, что её трудно нарисовать, она фиксирует итог.
Но у неё есть недостаток: она иногда улучшается по причинам, которые вообще не про адаптацию. Например, рынок стал хуже - люди держатся за работу.
Поэтому нужна вторая метрика, более управленческая. Скорость выхода на полезность и это не обязательно идеальная производительность, потому что прямых показателей часто нет, но почти всегда можно найти прокси.
Например, время до первой самостоятельной задачи, принятой без переделок. Или время до момента, когда руководитель говорит “да, человек встроился”, или время до первого результата, который фиксируется в рабочем процессе.
И вот в паре эти метрики дают очень следующую картину:
- Доля отвечает на вопрос "Удержали ли?".
- Скорость отвечает на вопрос "Насколько быстро адаптировался".
Если вырос только retention, то возможно, вы удержали людей, но они стали входить в работу медленнее. Если выросла только скорость, то вероятно, вы помогли сильным, но слабые продолжают уходить.
А если растут обе - это уже похоже на реальный эффект от изменений, который можно масштабировать.
Как это превращается в решение
Самое приятное начинается дальше, потому что как только у вас есть эти две метрики, у вас появляется дальнейшая возможность к принятию решению:
- если retention не двигается, а скорость растёт - значит вы хорошо ускоряете тех, кто остаётся, но не ловите причины ранних уходов.
- если retention растёт, а скорость падает - вы, возможно, перегрузили новичка процессом. Встреч много, материалов много, чек-лист огромный, а реальная работа отодвинута. Люди не уходят, но начинают тонуть, и выход на полезность замедляется.
- если не двигается ни то, ни другое - значит изменения были косметическими или проблема вообще не в адаптации, а в качестве найма и управлении.
Вот почему испытательный срок - это не только экзамен для новичка. Это экзамен в том числе и для системы.
Вывод
Да, мы не делаем A/B тест, да, мир вокруг меняется. Но если вы строите когорты до/после аккуратно и держите фокус на двух метриках - выживаемость до конца испытательного срока и скорость выхода на полезность - у вас появляется то, чего в HR часто не хватает.
Доказательств, которые выдерживают вопросы. И решения, которые можно защищать. 📊