Если два психолога дали разные выводы по одному человеку, кто из них ошибся?
В кадровой работе этот вопрос возникает чаще, чем принято говорить вслух. Один специалист пишет: “подходит, стрессоустойчив, можно в резерв”. Другой: “высокие риски, не рекомендую”. Руководитель смотрит на это и делает самый логичный вывод: “психодиагностика — это вкусовщина”.
На самом деле спор чаще не про “кто хуже как психолог”, а про то, что именно измеряли, чем измеряли и в каких условиях. Психодиагностика действительно ближе к измерению (как термометр), чем к гаданию (как “ощущение, что у вас температура”). Но это измерение особого типа: мы измеряем не температуру, а психологические качества— тревожность, самоконтроль, скорость обработки информации, склонность к риску, устойчивость внимания и т.д. И тут начинаются тонкости.
Почему “два вывода” — не всегда ошибка.
Представьте обычную ситуацию: вы измеряете рост кандидата двумя способами. - Первый раз — без обуви, у стены, по инструкции. - Второй — в обуви, на ковре, “примерно”. Получится два числа. И оба вроде про рост, но сравнивать их как равные нельзя.
С психодиагностикой аналогично. Разные выводы могут появиться по четырем причинам: 1) Использовали разные инструменты (или один инструмент “на глаз”). 2) По-разному провели процедуру (разные инструкции, время, условия, мотивация). 3) По-разному интерпретировали результат (разные пороги, разные формулировки). 4) Сработала ошибка измерения (она есть всегда, вопрос в ее величине).
И вот здесь полезно перейти с языка “мне кажется” на язык психометрики. Это не страшное слово. Это просто правила качества измерения.
Надежность: можно ли получить примерно тот же результат еще раз.
Надежность (reliability) — это стабильность результата при повторении. Простой перевод на HR-язык: если мы сегодня измерили показатель, а завтра (в сопоставимых условиях) измерили снова, насколько похоже получится?
Надежность бывает разной: 1) Тест-ретест: стабильность во времени. 2) Внутренняя согласованность: насколько “пункты” опросника реально про одно и то же. Здесь часто упоминают альфу Кронбаха (Cronbach, 1951), но важно помнить: высокая альфа не делает тест хорошим, она лишь говорит, что пункты “держатся вместе”. 3) Согласованность оценщиков: если это метод с экспертной оценкой (интервью, ассессмент), насколько разные оценщики ставят похожие баллы.
Практический ориентир: в прикладной работе часто считают приемлемыми значения надежности порядка 0,70 и выше для групповых решений, а для индивидуальных решений требования обычно выше (в учебниках по психометрике это обсуждается давно; например, Nunnally и Bernstein, 1994).
Важно: надежность — это не “психолог хороший”. Надежность — свойство процедуры и инструмента.
Валидность: измеряем ли мы то, что нам реально нужно Если надежность отвечает “стабильно ли”, то валидность (validity) отвечает “про то ли вообще”.
Самая частая кадровая ошибка звучит так: “тест надежный, значит, он подходит”. Нет. Можно стабильно измерять не то.
В HR и профотборе особенно важны: 1) Критериальная валидность: связано ли измерение с результатом работы (KPI, инциденты, ошибки, успешность обучения). Это самый “приземленный” вид валидности. 2) Конструктная валидность: соответствует ли тест теории (например, измеряет внимание, а не скорость чтения инструкции). 3) Содержательная валидность: покрывает ли методика те навыки/качества, которые реально нужны на должности.
Данные, на которые удобно опираться в разговоре с руководством.
В кадровой психологии есть классические мета-анализы, которые показывают, что некоторые методы действительно неплохо предсказывают успешность труда. Например, в обзоре Schmidt и Hunter (1998) общие когнитивные способности и структурированное интервью показывали высокую прогностическую ценность, а рабочие пробы (work sample) часто оказывались среди лидеров. Конкретные коэффициенты зависят от должности и критерия, но общий вывод важен для практики: валидность можно и нужно подтверждать данными.
Перевод на человеческий: “мне понравился кандидат” — слабее аргумент, чем “по данным валидизации инструмента и нашим внутренним метрикам этот профиль обычно быстрее выходит на норму качества”.
Стандартизация: одинаковые условия, иначе сравнение нечестное. Даже хороший тест можно испортить организацией.
Стандартизация — это набор “мелочей”, которые на деле решают всё: 1) Одинаковая инструкция (не “своими словами”, а по протоколу). 2) Одинаковое время, порядок методик и перерывы. 3) Одинаковые условия (шум, телефон, наблюдатели, стрессовая обстановка). 4) Понятные нормы и пороги (с кем сравниваем кандидата и по какому принципу).
Когда стандартизации нет, у вас появляются не “результаты психодиагностики”, а результаты смеси факторов: мотивация кандидата, уровень доверия к процедуре, усталость после дороги, эффект “я враждебно настроен к компании”, и так далее.
Ошибка измерения: почему идеальной точности не бывает .
Даже при идеальном протоколе психодиагностика не превращается в рентген.
Ошибка измерения — это “люфт”, который есть у любого измерения. Человек сегодня может быть недоспавшим, перегруженным, раздраженным, настороженным. Это влияет и на опросники, и на когнитивные задания, и на интервью.
Поэтому профессиональная диагностика в отборе редко держится на одном источнике данных. Обычно это батарея: - тест или несколько тестов - структурированное интервью - анализ опыта и поведения (по единым критериям) - при необходимости рабочая проба
И тогда два разных вывода становятся не “скандалом”, а поводом проверить: где именно расходятся данные и почему.
Мини-кейс из реальности кадровых процессов
Кандидат на напряженную должность (сменный график, ответственность, жесткие сроки) в опроснике выглядит “железобетонным”: спокойный, уверенный, без тревоги.
Если специалист делает вывод только по самоотчету, он может не увидеть, что: - кандидат сознательно старается выглядеть “идеально” - кандидат не привык отслеживать свои состояния и искренне отвечает “у меня всё нормально” - процедура была проведена в спешке, без нормальной инструкции
А другой специалист, опираясь на батарею методов и стандартизированное интервью, увидит признаки переоценки ресурса и напишет осторожнее: “высокая мотивация, но требуется проверка в рабочей пробе/наблюдение на испытательном сроке”.
Это не “один умный, другой нет”. Это разные основания вывода.
5 вопросов к любой методике, прежде чем использовать ее в отборе:
- Что именно измеряет методика (конструкт) и зачем это нужно на этой должности?
- Какая надежность и на каких выборках она проверялась?
- Есть ли данные валидности именно для рабочих критериев (успешность, ошибки, обучение), а не только “красивые описания шкал”?
- Есть ли стандартизированный протокол и нормы (по возрасту, профессии, контексту)?
- Кто и как интерпретирует результат, и как вы будете давать обратную связь кандидату?
Так наука это или искусство?
Если коротко и честно: психодиагностика в кадровой сфере — это дисциплина на стыке.
- Наука — потому что есть измерение, стандарты, данные надежности/валидности, метрики качества, предикторы успешности.
- Искусство — потому что специалисту всё равно нужно профессиональное суждение: сопоставить данные, учесть контекст должности, корректно сформулировать вывод и не причинить вред.
Но “искусство” здесь не про произвол. Хороший специалист делает выводы так, чтобы их можно было объяснить, воспроизвести и при необходимости пересмотреть при новых данных.
Что вам важнее в психодиагностике для профотбора и профориентации?
1) Максимальная точность и сопоставимость результатов
2) “Человечность” и гибкость под контекст
3) Баланс: точность как основа, а человечность как способ коммуникации и внедрения