Основываясь на возрастающей вычислительной мощности, исследователи, такие как Маклин и Понтифф, проводят комплексные исследования любого релевантного поперечного предсказателя доходности акций и влияния академической публикации на саму предсказуемость этих факторов. В то время как Маклин и Понтифф изучают "только" 97 предсказателей, Джейкобс и Мюллер увеличивают это число до 241.
Концептуально количество кросс-секционных предсказателей и/или торговых стратегий временных рядов не имеет теоретических ограничений, которые можно было бы изучить, и инвестиционная практика является довольно желанной для такого рода академических исследований.
Фактически, повышение уровня грамотности учёных из различных дисциплин, изучающих языки программирования, такие как Python и R, может привести к тому, что проведение таких комплексных исследований станет регулярным явлением в серии академических и профессиональных семинаров.
Растущая игра цифр, Псараделлис и др. применяют 7846 технических правил торговли к ежедневным данным по фьючерсам на сырую нефть, а Нефтяной фонд США – к периоду выборки, который составляет почти 10 лет, что даёт им значительную статистическую силу.
Применяя средства контроля для проверки многочисленных гипотез, предложенных Романо и Вольфом, Байгровичем и Шайле, они не могут найти систематических, устойчивых ненормальных возвратов к любому из технических правил торговли.
Поднимая игру чисел до крайности, работа над которой ведётся компаниями Chordia, Goyal и Saretto, генерирует 2,1 миллиона торговых стратегий для оценки серьезности p-hacking атак в финансовых исследованиях. Они обнаруживают, что большинство опровержений нулевой гипотезы при тестировании одной гипотезы исчезают, используя несколько рамок тестирования гипотез, которые объясняют перекрестные корреляции внутри сигналов. Они приходят к выводу, что p-hacking является большой проблемой для финансовых исследований, серьёзность которых существенно возрастает с приходом эпохи больших данных.
Следовательно, исследователи сталкиваются с проблемой того, что из-за большего количества доступных наблюдений традиционные протоколы тестирования гипотез нарушаются потрясениями статистической мощи наборов тестовых данных (т.е. чрезвычайно большим количеством наблюдений) и потрясениями вычислительной мощи самих исследователей (т.е. чрезвычайно большим количеством генерируемых испытуемых).
В то время, как задачи вычислительной мощности теоретически бесконечны в соответствии с законом Мура, задача статистической мощности может быть точно проиллюстрирована на основе t-статистики, которую коэффициент корреляции будет иметь в контролируемых лабораторных условиях в зависимости от количества наблюдений.
Теоретически верные коэффициенты корреляции до 2% будут иметь t-статистику, намного ниже критических значений для обычных уровней значимости в случае размеров выборки из 100 или даже 1000 наблюдений. Однако те же теоретически верные коэффициенты корреляции будут объявлены статистически значимыми от 0,1% и выше для 10 миллионов наблюдений. Это поразительное различие не вызвано и не усугубляется тем, что сами критические значения постепенно уменьшаются с увеличением числа наблюдений.
В любом случае, это показывает, насколько серьезна проблема статистической мощи в век больших данных. Более тревожно то, что начиная с 10 миллионов наблюдений коэффициенты регрессии во многих случаях чаще объявляются весьма значимыми на обычных уровнях значимости, чем считаются незначительными или слегка значимыми, даже если на самом деле они совершенно несущественны.
Эти проблемы статистической и вычислительной мощи требуют нового мышления в отношении исследовательских протоколов и практики, позволяющего исследователям исследовать возможности, предоставляемые всё более быстрыми вычислениями и экспоненциально растущим объёмом производимых данных, одновременно обеспечивая сохранение целостности профессии.
Для решения проблемы p-hacking в результате повышения способности исследователей генерировать чрезвычайно большое количество обычно взаимосвязанных портфелей тестов, Арнотт, Харви и Марковиц разработали "исследовательский протокол для тестирования инвестиционных стратегий", включающий 22 вопроса в 7 разделах.
Хотя некоторые вопросы, как и следовало ожидать от AHM, являются техническими, такими как "устойчивая к структурным изменениям модель" или "предпринятые исследователями шаги для получения самой простой практической спецификации модели", подавляющее большинство их вопросов носят процедурный, если не философский характер и сосредоточены на целостности исследовательского процесса.