AHM задает вопрос: "предприняли ли исследователи шаги для обеспечения целостности данных?" Аналогичным образом, они задаются вопросом, вознаграждает ли "культура исследований качество науки, а не нахождение выигрышной стратегии". Эти вопросы о честности и неподкупности исследовательского процесса имеют решающее значение, поскольку корректировки для проверки множества гипотез работают только в том случае, если исследователи прозрачны в отношении каждого теста, который они проводили.
AHM даже выходит за рамки вопросов честности и неподкупности и предлагает оценить уровень образования исследователей и их руководителей, задаваясь вопросом, "знают ли исследователи, что настоящие вневыборочные тесты возможны только в реальной торговле" и понимают ли "исследователи и руководство, что большинство тестов провалится".
Очевидно, что в век больших массивов данных существует очень большая потребность в оценке добросовестности исследователей и их исследовательских процессов, однако мы не до конца понимаем, как AHM стремится практически оценить эти вопросы честности и неподкупности, не полагаясь на формат самооценки исследователя, который сам может пострадать от финансового конфликта интересов.
AHM рекомендует заранее определить любое соответствующее проектное решение до начала официального процесса исследования, но это, к сожалению, не мешает исследователям проводить неофициальные исследования, чтобы определить предварительные варианты плана исследования, которые будут способствовать их последующему официальному процессу исследования.
Представляется, что для решения этих серьёзных проблем, обусловленных вновь открывшимися возможностями исследователей по созданию чрезвычайно большого числа портфелей тестов, необходимо дальнейшее концептуальное развитие и, возможно, вдохновение со стороны других научных дисциплин, таких как медицина.
Кроме того, проблема миллионов портфелей тестов достаточно специфична для ряда исследовательских вопросов, таких как эффективность инвестиционных стратегий, в то время как проблема чрезвычайно большого числа наблюдений, вероятно, повлияет практически на любой вопрос исследования. Очевидным ответом на это, помимо проверки множества гипотез, где это применимо, является повышение требуемых уровней условной значимости с 10%, 5% и 1% до 1%, 0,5% и 0,1%, соответственно.
Такая простая корректировка ожиданий в отношении статистической значимости может быть применена ко всем вопросам исследования и просто признаёт, что можно ожидать большей надёжности выводов от современных исследователей, которые могут видеть гораздо больше и/или гораздо больше деталей, чем предыдущие поколения.
Однако мы утверждаем, что повышенное внимание к концепциям, выходящим за рамки статистической значимости, позволяет исследователям использовать преимущества эпохи больших данных, защищая себя от подводных камней. Эти понятия имеют экономическую значимость и, особенно, статистическую значимость.
Крайне важно, что хотя статистическая мощь значительно возрастает в результате использования больших массивов данных и, следовательно, трудности достижения уровней традиционной значимости (т.е. 5%) существенно снизились, появление трёх других концепций не оказывает негативного влияния на появление эпохи больших данных.
Экономическая значимость (т.е. сам размер эффекта) остается не затронутой, в то время как большее количество наборов данных позволяет более плавно сравнивать размер эффекта с другими экономическими показателями.
Экономическую значимость ещё предстоит оценить по соотношению между величиной эффекта и распределительными свойствами, такими как среднее и стандартное отклонение зависимой переменной. Вероятно, он также немного выигрывает от больших наборов данных, поскольку это означает, что распределения зависимой переменной оцениваются с постепенно возрастающей точностью.
Поскольку вероятность статистической значимости каждого отдельного коэффициента возрастает со значительным увеличением статистической значимости в результате использования больших массивов данных, статистическая значимость каждого коэффициента, вероятно, станет более важным критерием оценки качества исследований.
Статистическая значимость может быть измерена как дополнительная объясняющая способность при добавлении соответствующей переменной к идентичной модели. В эпоху больших массивов данных не исключено, что индивидуальный коэффициент может считаться статистически значимым, если его фактическая статистическая значимость ничтожна или даже незначительно отрицательна.
Следовательно, мы предлагаем исследователям обсудить статистическую значимость коэффициентов для ключевых независимых переменных, на которых они строят свои описания, а также измерить и обсудить статистическую значимость и прокомментировать экономическую значимость и актуальность ключевых коэффициентов.