Исследователи все чаще используют проверку внимания для выявления невнимательных респондентов и снижения уровня шума. Однако после выявления невнимательных респондентов исследователи должны решить, следует ли отказаться от участия в опросе таких респондентов, создавая тем самым угрозу внешней достоверности, или оставить их без присмотра, тем самым создавая угрозу внутренней достоверности.
В этой публикации мы задаемся вопросом, есть ли третий способ: можно ли побудить невнимательных респондентов обратить внимание?
Побудительные мотивы заставляют некоторых респондентов отказаться от участия в обследовании. В то время как ученые должны продолжать измерять невнимательность с помощью проверки внимания, повышение внимания респондентов "уклоняющихся от ответа" не так просто, как это предполагалось ранее. По мере того, как инструменты самостоятельного проведения обследований становятся все более распространенными в исследованиях в области социальных наук, все большее значение приобретает качество ответов на обследования. Чтобы убедиться, что респонденты обращают внимание на вопросы, прежде чем отвечать на них, исследователи теперь часто используют Screeners для выявления невнимательных субъектов (Berinsky, Margolis, & Sances, 2014). Эти вопросы также иногда называют Инструктивными проверками манипулирования или IMC (Instructional Manipulation Checks).
Скрининговые вопросы проинструктируют респондентов продемонстрировать, что они обращают внимание на стимулы, но маскируют эти инструкции под типичный вопрос обследования. Например, первое предложение такого вопроса может задать субъектам вопрос об их любимом цвете, однако те, кто внимательно прочитал вопрос, заметят, что в последнем предложении вопроса респондентам предлагается выбрать определенную комбинацию цветов, чтобы продемонстрировать, что они обращают на него внимание. Сказав респонденту проигнорировать остальную часть вопроса и выбрать другой бессмысленный ответ, исследователи могут провести различие между внимательными "рабочими" и невнимательными "уклоняющимися" респондентами. Эта стратегия является эффективным способом выявления невнимательных респондентов: многочисленные исследования показали, что прохождение скрининга связано со значительным снижением шума, как с точки зрения эффектов экспериментального лечения
В ряде исследований предлагаются различные способы, которыми невнимательные респонденты могли бы воспользоваться, чтобы обратить внимание на опрос. Например, исследователи могут препятствовать респондентам в проведении опроса до тех пор, пока они не пройдут тестировщик, или предупреждать респондентов в начале опроса, что их ответы будут проверяться, чтобы набраться смелости и внимательности. Эти стратегии направлены на повышение качества данных без отбрасывания внимательных респондентов, что, по сути, позволяет сохранить состав выборки и превратить "уклонистов" в "рабочих".
Однако до настоящего времени не проводилось систематических тестов на предмет изучения последствий стратегий, направленных на привлечение большего внимания респондентов. Осталось множество безответных вопросов. Приводят ли такие стратегии к тому, что респонденты обращают внимание на опрос, или же они, в лучшем случае, просто делают их лучше при заполнении экрана? Реагируют ли субъекты на эти потенциально навязчивые методы выходом из опроса?
Более тревожным может быть тот факт, что респонденты уделяют меньше внимания обследованиям, проводя их в уединении у себя дома, по сравнению с лабораторией, мониторинг которой осуществляет исследователь. Если в самоуправляемых онлайновых опросах уделяется больше внимания, чем в лабораториях, то попытки воспроизведения установленных результатов психологических экспериментов будут сопряжены с нелегкой битвой. Некоторые исследователи высказывали эту озабоченность, отмечая, что респонденты интернет-опроса могут тратить меньше времени и усилий на проведение онлайнового опроса по сравнению с респондентами в лаборатории и что исследователи имеют меньше возможностей для мониторинга и контроля респондентов в онлайновой среде. Более низкий уровень внимания в Интернете может даже помочь объяснить, почему некоторые изменения, первоначально обнаруженные в лабораторных исследованиях, не нашли отражения в онлайновых исследованиях. Чтобы избежать недооценки - или неспособности полностью - эффектов, которые ранее были обнаружены в лаборатории, онлайновые репликации должны проявлять осторожность по отношению к вниманию респондента. Это означает не только измерение внимательности, но и недопущение героических попыток манипулировать ею.
Экраны являются мощным инструментом для измерения внимания, но могут ли исследователи эффективно преобразовывать невнимательных "уклоняющихся" респондентов в внимательных "рабочих"? Хотя возможность выявления невнимательных респондентов свидетельствует об улучшении обследования и экспериментальных исследований, было бы еще лучше избегать сложных компромиссов между высококачественными данными и нерепрезентативной выборкой.
Разница в результатах может указывать на то, что обучение респондентов является полезной стратегией в лаборатории, где респонденты могут обратиться за помощью, в то время как та же стратегия в Интернете, где отсутствует надзор, оказывается неэффективной.
Однако онлайновые обследования также усиливают озабоченность по поводу качества данных. Анонимный Интернет, который не обеспечивает контроля со стороны участников, очень затрудняет контроль за тем, обращают ли респонденты внимание и прилагают ли они все усилия при проведении онлайновых опросов. Как правило, более высокий уровень невнимательности означает, что исследования, проводимые в Интернете, могут иметь трудности с тиражированием и могут объяснить, почему некоторые лабораторные результаты не могут быть воспроизведены с помощью этого нового параграфа исследования.
Скрининги позволяют исследователям измерять внимательность, но пока мы не должны советовать исправлять проблему невнимательности.