Какая точность оценки вам нужна?
Когда говорят «эти весы очень точные» — сразу возникает разумный вопрос: для чего? Взвесить крупицу золота или картошку? С оценкой людей этот вопрос почему-то не задают.
А стоило бы. Потому что у любой оценки персонала три разных свойства и в зависимости от задачи важны разные из них.
Надёжность - это повторяемость. Два эксперта смотрят одного кандидата и приходят к одному выводу. Оценки до и после обеда совпадают.
Валидность - оценка действительно измеряет то, что нужно. Например, предсказывает, как человек сработается с командой, а не просто фиксирует, что он бойко отвечает на вопросы.
Точность - попадает ли в цель, нет ли систематического смещения.
Какое из трёх свойств важнее — зависит от цены ошибки. При найме времени мало, данных мало, и отсечь хорошего кандидата дороже, чем взять слабого: второго шанса не будет. Нужна валидность. При формировании кадрового резерва ошибка имеет долгосрочные последствия, зато есть время накапливать данные — здесь нужна надёжность, не блеск одной встречи. При оценке для развития цена ошибки низкая, но нужна не цифра «7 из 10», а карта сильных и слабых сторон.
И вот что удивляет на практике.
Профессиональная оценка — это всегда два числа: среднее и погрешность. Без второго первое почти ничего не значит.
Кандидата берут в кадровый резерв, если оценка ≥ 2.8.
Оценщики поставили 1, 3, 5 → среднее 3, погрешность ±2. Брать? Неизвестно. Мы знаем лишь, что кандидат где-то между 1 и 5.
Оценки 2.8, 3.0, 3.2 → среднее тоже 3, погрешность ±0.2. Вот тут всё понятно — с учётом погрешности кандидат проходит.
Откуда берётся эта погрешность у людей и что происходит, когда оценивает ИИ — в следующем посте.
