Сегодня мы читаем и разбираем отличную вводную статью про то, что такое Psychological Science Accelerator, который иногда называют психологическим ЦЕРНом (Европейским центром ядерных исследований, в состав которого входит, например, Большой адронный коллайдер) за масштаб, интернациональность и концентрированную работу над конкретными проектами.
Предыстория
В 2015 году была опубликована статья Брайана Нозека и коллег из Center for Open Science, окончательно ознаменовавшая начало репликационного кризиса в психологии. Исследователи попытались воспроизвести около 100 психологических исследований из топовых журналов различных областей психологии, воспроизвелось меньше половины, у внушительной части эффектов сильно пострадал размер — в общем, оказалось, дело труба, и все эти замечательные психологические открытия, например, бездонная тарелка Брайана Вансинка или поза силы Эмми Кадди, зачастую являются просто растиражированными артефактами научных исследований. Учёные рвут на себе волосы и пытаются понять, на что можно, а на что не стоит ссылаться; научно-популярные издательства рвут на себе волосы и пытаются понять, про что можно писать, а про что не стоит; грантодатели (вы уже догадались, что они делают) разбираются, кого финансировать, а кого нет, и на фоне всей этой апокалиптичной картины и бурных дискуссий фантастически растёт влиятельность практик открытой науки, о части из которых мы писали в нашем тексте вот здесь.
История
Попробуем представить себе происходящее в виде метафоры. Добыча ресурсов бывает экстенсивной, когда неглубоко разрабатывается большое количество источников, и интенсивным, когда происходит глубокая проработка небольшого их числа. В этом принципиальная разница между подходом исследователей из COS, малыми силами однократно проверивших огромный список работ, и PSA, которые планируют силами 230 лабораторий воспроизводить эффекты по одному за раз. Ближайшая аналогия такому дизайну реализуется как раз в физике, где огромные коллективы учёных надёжно устанавливают факт существования таких штук, как, например, гравитационные волны.
Первым в очереди масштабной репликации идёт исследование, в котором авторы утверждают, что люди автоматически оценивают фотографии лиц по двум измерениям: благонадёжности и доминирования, причём оценка происходит на основании статистически выводимых особенностей лица, что позволяет моделировать или подбирать лица с заданными показателями.
Прямо сейчас около 120 лабораторий по всему миру стандартизируют стимулы, процедуры обработки и описания данных, договариваются о сроках и способах подведения итогов: в общем, координируются, чтобы масштабно проверить одно-единственное исследование. Авторы оригинального исследования уже выразили свою полную поддержку этому начинанию и предложили помочь в воспроизведении оригинальных процедур, что драматически увеличивает шансы на то, что репликация вообще будет возможна.
Nihil novi
На самом деле, в психологии и раньше бывали проекты с похожей направленностью: например, Many Labs Project, который ещё в 2013 году повторил 10 из 13 взятых к рассмотрению эффектов из классических психологических находок, — в частности, ряд эффектов, показанных Канеманом и Тверски. Подробнее про Many Labs написано вот здесь, а вот и вышедшая позже статья с результатами. Тем не менее, степень сфокусированности MLP на конкретных эффектах не идёт ни в каком сравнение с действительно потрясающим воображение масштабом Psychological Science Accelerator: 36 выборок против предполагаемых 120.
Помогут ли сосредоточенные усилия более сотни лабораторий по всему миру окончательно установить существование противоречивых эффектов? У Карла Поппера, возможно, нашлась бы пара веских аргументов против такого наивного верификационизма, да старик уже не возразит. На основании каких критериев будут выбираться исследования для такой ресурсоёмкой проверки? Как будут учитываться индивидуальные вклады исследователей в процесс? Острых вопросов в предприятии немало, и всё же это очередной отличный шаг в сторону решения репликационного кризиса. Так победим!