Психология – это наука. Многим этот тезис не нравится, ведь точность психологии далека от классической механики (она же – ньютоновская).
И не важно, что законы Ньютона работают далеко не всегда – например, для объектов, размером с атом нужна квантовая механика. Важно, что ньютоновская механика проста, понятна, наглядна и убийственно точна. Следовательно, это наука.
Психология не такая, следовательно, она не наука.
Одного этого тезиса, кажется, достаточно, чтобы окончательно доказать мне, что психология не наука. Но для полного уничтожения обычно мне сообщают, что в психологии воспроизвести удаётся меньше половины исследований. Следовательно, это воообще не наука.
О том, почему психология всё-таки наука, я рассказывал в статье «Почему психология наука: ликбез за пять минут», а здесь хочу поговорить о теме с трудностями воспроизведения психологических исследований (это так называемый «кризис воспроизводимости»).
Воспроизведи это!
Начну с базы – наука построена на поисках закономерностей, причём универсальных, действующих везде, где есть соответствующие условия. Скажем, объект всегда будет отбрасывать тень, если на него посветить. Значит перед нами – закономерность.
И если учёные в одной лаборатории провели опыт и докладывают, что открыли какую-либо закономерность (скажем, новый физический закон), то это нужно проверить. Иначе у нас не закон, а что-то подозрительное.
Проверка – это и есть воспроизведение. Если опыт не воспроизводится в других лабораториях, значит, его результаты – в лучшем случае ошибка. В худшем – сознательный мухлёж.
Поэтому воспроизводимость исследований важна критично. Можно сказать, что воспроизводимость – это плоть и кровь науки.
И вот тут нас ждёт неприятная новость. С воспроизводимостью есть изрядные проблемы.
Вот, например, опрос 2016 года, проведённый журналом «Nature» [1]. Из 1576 участников 70% хотя бы раз не смогли воспроизвести результаты чужих исследований.
И – держитесь за поручни – половина не смогла воспроизвести собственные же эксперименты.
Думаете, в опросе участвовали одни психологи? Нет. Там было 703 биолога, 106 химиков, 236 физиков и инженеров, 203 медика и так далее.
И проблемы были у каждой науки.
Почему так? Потому что для современного учёного важнее всего опубликоваться. А редакторы в основном принимают статьи об открытиях, а не о «закрытиях». Из-за этого учёные не сильно налегают на перепроверки и дизайн исследований. Получилось один раз – и ладно. Как сказано в этой статье: «конкуренция за гранты и должности и растущее бремя бюрократии отнимает время от проведения и проектирования исследований».
Это не единичное исследование. Ещё в 2005 году Джон Иоаннидис опубликовал статью «Почему большинство опубликованных результатов исследований являются ложными» [2]. В ней он подробно объясняет, как учёный, даже добросовестный, может ошибиться с результатами исследований и опубликовать ложные, по сути, данные.
Другой пример – из нейробиологии. Сейчас исследования мозга на коне, и это правильно – нам нужно понимать, как именно работает самое важное устройство нашего организма. Однако несовершенство методов исследований приводит к изрядным заблуждениям – недавно выяснилось, что многие исследования с нейровизуализацией, которые считались воспроизведёнными, совсем таковыми не являются – из-за неправильной обработки данных [3].
Так что проблемы с воспроизведением есть у всех отраслей науки. Психология здесь просто одна из многих.
Красота сложности
При этом надо учитывать важный момент: психология работает с очень сложной системой – с человеком. А это означает, что нужно учитывать просто невероятное количество переменных, которые, во-первых, не всегда заметны, а во-вторых, связаны не всегда понятными отношениями.
Вот яркий пример на эту тему. Ещё в прошлом веке Фриц Штрак сотоварищи установили, что между мимикой и настроением есть обратная связь – наша мимика влияет на наше настроение и наоборот. Если человек держал ручку зубами, растягивая губы (похоже на улыбку), то настроение его улучшалось. А если держал губами (словно бы насупился), настроение ухудшалось [4].
Когда это исследование начали воспроизводить уже в 21 столетии, оказалось, что никакого эффекта обратной связи лица нет. Хоть зубами ручку держи, хоть губами, хоть в ноздрю засунь – ничего.
Стало быть, исследование немцев – пустышка? Не торопитесь с выводами
Израильские психологи заинтересовались этим противоречием, как следует всё изучили, и установили неожиданное – оказывается, всему виной видеокамера.
Эксперимент с ручкой во рту отлично воспроизводится, если перед человеком нет видеокамеры и так же отлично не воспроизводится, когда камера есть [5].
Как видите, всего одна маленькая деталь, которую даже могли не заметить – и результат кардинально меняется.
Из-за этого требования к воспроизведению психологических исследований особенно строгие – важно повторить процедуру максимально точно, иначе вместо воспроизведения получится совершенно новое исследование. Это тоже интересно, но задача, всё-таки, другая.
Давайте сделаем всё идеально
Первоначальное исследование по воспроизводимости, которое инициировал центр «Открытая наука», дало около 40% положительных результатов [6]. Это, разумеется, не всем понравилось, поэтому это исследование стали критиковать. А поскольку оно было большим, но не идеальным, критиковать было относительно легко. А местами – и справедливо.
Поэтому было проведено новое исследование – Many Labs 2. Здесь учёные попытались воспроизвести 28 исследований, повторяя первоначальные условия максимально точно [7].
Причём исследователи взяли более жёсткие условия для демонстрации наличия эффекта. Обычно выставляют уровень «p < .05», то есть, очень огрубляя, пять попыток из ста могут дать положительный результат просто случайно.
А в проекте Many Labs 2 выставили уровень «p < .0001». То есть, только один из десяти тысяч случаев может случайно дать хороший результат. Это очень высокие требования (и это правильно).
При таких раскладах удалось воспроизвести 14 исследований – ровно половину.
Это означает, что первое исследование «Открытой науки» было более-менее точным. И это означает, что примерно половина исследований в психологии выполнены плохо – с низким уровнем «p», с небольшими выборками, небрежно и так далее.
Всё это совершенно недопустимо и проекты по воспроизводимости сделали очень важную работу.
И, кстати, сказать, таковая работа показывает, что психология является наукой, потому что только в науке есть встроенный механизм самоулучшения. Психологи сами задумались о достоверности результатов, сами перепроверили их и сами показали пробелы и трудности в исследованиях. Всё по науке.
Рассвет не за горами
Как вы понимаете, провести даже большие проекты – это полдела. Важно ещё и исправить ситуацию.
И её исправляют.
Появилось несколько дополнительных принципов, которые соблюдают современные исследователи (и в психологии, и в других науках).
1. Полное раскрытие методов и данных. Все результаты своих исследований, анкеты, отчёты, инструкции, статистику, формулы – всё это исследователи загружают на специальный сайт «Открытая научная база», и всегда можно взять их данные и перепроверить.
2. Предварительная регистрация исследований. Прежде чем начать исследование, учёные выкладывают свою гипотезу и общий дизайн исследования на специальные сайты (например, сюда). Соответственно, в этом случае отсекаются манипуляции с выборкой или подгонкой гипотезы под результат. Нетушки – раз уж хотели проверить влияние зелёного цвета обоев на память, вот это и проверяйте, не надо виться ужом, вытаскивая положительные результаты из плохих данных.
3. Публикация отрицательных результатов. Раньше научные журналы старались принимать только статьи об открытиях, а вот «закрытия» их не интересовали. А поскольку публикация для учёного, это, в конечном итоге, возможность и дальше делать свою работу, каждый старался найти пусть завалящее, но открытие. Ну и, конечно, находил. Между тем, отрицательный результат в науке очень важен – он показывает ошибки в гипотезе, в эксперименте, в направлении исследований. Если учёные знают об отрицательных результатах коллег, они экономят уйму сил и средств, не повторяя то, что уже проверено и отброшено. Это дорогого стоит.
4. Тиражирование. Просто так провести эксперимент и радоваться результатам нельзя. Нужно проверить воспроизводимость ещё до публикации. Идеально – в другой стране. Ведь если найдена закономерность, она проявит себя везде (или выяснится, что закономерность культурно-специфическая, что тоже очень важно). В итоге усиливается общение учёных из разных стран.
5. Улучшение владения статистическими методами. Учёные подтягивают свои навыки и знания матстатистики, относятся к вычислениям внимательно и не хватаются за первый же положительный результат, а проверяют его разным методами.
В итоге – достоверность растёт.
Конечно, до идеала ещё далеко, но проделанная работа впечатляет.
Всё это означает лишь одно – психология, как и всякая наука, столкнулась с трудностями и, как и всякая наука, успешно их преодолела, став лучше.
Кстати, если хотите больше знать о том, как психология помогает улучшить жизнь, рекомендую изучить вот эти материалы.
А у меня всё, спасибо за внимание.
Не согласны? Комментарии ждут, у меня тут свобода слова.
В дополнение рекомендую:
Источники
1. https://www.nature.com/news/1-500-scientists-lift-the-lid-on-reproducibility-1.19970
2. https://www.ncbi.nlm.nih.gov/pmc/articles/PMC1182327/
3. https://www.biorxiv.org/content/10.1101/514521v1
4. https://psycnet.apa.org/record/1988-25514-001
5. http://psycnet.apa.org/record/2018-16714-001
6. http://science.sciencemag.org/content/349/6251/aac4716
7. https://www.psychologicalscience.org/redesign/wp-content/uploads/2018/11/ManyLabs2.pdf
