Уважаемые коллеги и читатели-подписчики канала "Думай, Человек"!
По своей узкой специальности я много-много лет занимаюсь профессиональным конструированием тестов и опросов. Так что... "немножко" разбираюсь, что происходит в этой области. И периодически я пытаюсь организовать опросы и на этой площадке - на своем Дзен-канале "Думай, Человек". Но... просто вынужден делать это крайне редко и нерегулярно (!) Почему? - А потому, что подписчики канала крайне слабо участвуют в этих опросах. Не знаю, в чем тут больше "собака зарыта". То ли администрация Дзена не любит показывать статьи, где есть опросы (хотя я создаю опросы на платформе "Яндекс-формы", которая долгое время считалась формально "дружественной" к проекту Дзен, все-таки "формы" были в одной "экосистеме Яндекс"). То ли дело в том, что пользователи Дзена НЕ хотят бесплатно участвовать даже в очень коротких опросах - даже в тех, которые посвящены казалось бы остро актуальным проблемам - дискутируемым здесь же на Дзене. Ну таким, как, например, проблема "Распада СССР". То ли пользователи Дзена боятся чего-то, не понимая, как получить гарантии анонимности (хотя этого добиться не трудно, о чем я тут писал отдельные сообщения с советами).
Я знаю, что в Рунете моими коллегами (некоторые были моими учениками - студентами факультета психологии МГУ) были созданы уже много лет назад отдельные успешные проекты по проведению платных Интернет-опросов - в основном в целях бизнеса (маркетинговые опросы покупателей определенных товаров и услуг; крайне мало таких систем создано в целях социологии и политологии). Я не буду здесь называть эти проекты, ибо меня скорее всего совсем перестанут показывать моим же подписчикам (со скрытым упреком в том, что я тут занимаюсь рекламой коммерческих проектов в Интернете).
Но... что же отличает эти успешные проекты от тех опросов, которые можно создавать и проводить в системе "Яндекс-формы" здесь на Дзене? Ведь казалось бы, что система "Яндекс-формы" дает гибкую возможность создавать очень разные опросы и тесты. ОТВЕТ: все дело в том, что в системе Яндекс-формы (а следовательно и на Дзене в целом) у разработчиков нет возможности работать с респондентами НА ПОСТОЯННОЙ ОСНОВЕ. Не только выборки оказываются крайне малыми по размеру, но ... каждый раз аудитория опросов меняется! Нет подсистемы регистрации участников! Нет возможности создать сбалансированную выборку участников (представительную по полу, возрасту, уровню образования и другим социологическим критериям).
Еще сложней дело обстоит у разработчиков методик тестирования (не путать с опросами).
В ЧЕМ ОТЛИЧИЕ ТЕСТОВ ОТ ОПРОСОВ?
- По тесту разработчик после цикла разработки теста должен дать ИНДИВИДУАЛЬНУЮ обратную связь каждому участнику (!). Но... если нет системы регистрации (и технической возможности повторной авторизации), то нет возможности пригласить участника второй раз "войти в ту же воду" - познакомиться после предварительных и неточных результатов по тесту с более точными и подробными своими ЛИЧНЫМИ результатами. А ведь личные результаты требуют ЛИЧНОГО КАБИНЕТА (эту простую истину, увы, до сих пор немногие пользователи осознают).
Именно поэтому у нас в группе компаний "Гуманитарные технологии" уже 12 лет работает вспомогательный проект КИТТ - Клуб Испытателей Тестовых Технологий. Именно там постоянные наши участники имеют возможность дважды получать результаты по новым разработанным тестам:
1) предварительные скупые и неточные (приблизительные),
2) окончательные подробные и точные (после сбора представительной статистики по новому тесту). Это, в частности, количественные данные о том, сколько других участников клуба выполнили тест СЛАБЕЕ, чем данный участник. Возможность сравнить себя с сотнями других людей - это отсутствующая в быту возможность, согласитесь.
Важно подчеркнуть, что для меня (и моих коллег по Центру "Гуманитарные технологии") проект КИТТ не является коммерческим. Он является сам по себе "планово-убыточным" (попадает исключительно в расходную статью бюджета). Почему? - Потому что никто из членов клуба не платит, только мы - организаторы клуба - платим самым активным участникам - авторам подробных отзывов и победителям наших тест-конкурсов... Поэтому, чтобы зарабатывать на онлайн-опросах и тестах, дорогие читатели, Вы должны сами проходить регистрацию в таких проектах, как наш КИТТ (!), а здесь - это только "пристрелка", это промо-опросы (рекламирующие настоящие онлайн-исследования, но не являющиеся сами серьезными онлайн-исследованиями).
Поэтому... я пытаюсь здесь на Дзене создавать опросы, которые служат только одной цели - служат трамплином для вступления (саморегистрации) моих читателей в наш проект КИТТ (!).
Многие, увы, невнимательно читают мои статьи на Дзене и, увы, это до сих пор не поняли (хотя я уже здесь скоро два года пишу и написал более 300 статей). Почему не поняли? - Статьи мои идут на ленте читателей вперемешку со статьями других авторов и очень по разной тематике. Статьи мои очень плохо показывают здесь, и особенно - статьи, в которых есть опросы (!) - В десять раз хуже здесь статистика по числу просмотров, если в статье появляется опрос. Это легко увидеть, ибо что хорошо на Дзене для авторов - подробная, доступная авторам статистика в Дзен-студии просмотров и дочитываний по каждой статье.
Ниже привожу 2 примера того, как опросы на более скромной моей аудитории в сети Вконтакте давали мне даже больше участников, чем статьи на Дзене, хотя формально подписчиков здесь в три раза больше.
12 ПРИЧИН РАСПАДА СССР (результаты опроса в сети ВК)
Надо сказать, что опросы в сети Вконтакте (ВК) для меня тоже являются "пристрелочными". Они тоже служат той же самой цели - "заманить" (в хорошем смысле слов) новых участников в наш проект "КИТТ". Но... там это пока удается сделать эффективней, чем здесь на Дзене (сказывается разная политика разной администрации на этих двух разных платформах).
СРАВНИТЕ САМИ: Опрос про причины распада СССР в сети ВК прошли 33 человека. Это очень немного, но хоть что-то! Ведь хорошо известно, что после 30 человек главные тенденции уже не меняются - лидирующий ответ(ы) остается неизменным при наращивании численности выборки участников.
А в Дзене тот же опрос позволил получить только... 7 участников (слезы!). Показов на Дзене, казалось бы, не так уж мало - за четыре дня 1200 (столько, сколько у меня подписчиков в сети ВК, но в три раза почти что меньше, чем число подписчиков на Дзене). Но... дочитываний только 40 (совсем мало), а 7 ответов - просто "кот наплакал", как говорится.
Кому интересно, взгляните, как часто люди в сети ВК выбирали ответы (семь ответов, полученных от дзеновцев, я сюда вовсе не добавлял, это просто скриншот с информации о результатах опроса в сети ВК).
Надо сказать, что в сети ВК я получил рекомендации от активных участников (в комментариях), какие еще ответы добавить (и это сделал!). Но... из-за того, что мы с коллегами лепили в сети ВК перечень ответов "на ходу", слиплись в один слишком емкий ответ 2 разных ответа, которые вместе и набрали больше других баллов - единственный ответ, собравший больше 50% участников (про "внутриполитический кризис"). Его пришлось разделить на 2 ответа - уже на Дзене (а здесь опрос я подготовил позднее - на базе результатов в сети ВК). Сказывается и еще такое ограничение в сети ВК - это допустимость дать только 10 готовых ответов (и не больше!). В Яндекс-формах нет такого ограничения. Тем более его нет в нашем профессиональном проекте КИТТ.
Дают ли опросы какие-то содержательно неожиданные, интересные результаты? - Конечно! Ну посмотрите, как мало респондентов выбрали в качестве причины "дефицит колбасы". Это несмотря на то, что данный ответ пошел первым. Это вопреки мнению некоторых наших экспертов-политологов, что именно "дефицит колбасы" - это главная причина развала СССР (Дмитрий Евстафьев, например, который регулярно появляется в телевизоре у В.Соловьева).
А ниже еще один пример - на базе теста "Угадай Художника", по которому в ноябре 2022 мы учредили в КИТТ призовой фонд в 10 тысяч рублей - не так мало (!), хотя для многих (как они сами написали) тест "Угадай Художника" превратился в азартную и познавательную семейную игру под девизом "не ради денег". Дословно ниже цитирую мою недавнюю короткую статью в сети ВК.
ЯРКАЯ ИЛЛЮСТРАЦИЯ РАЗЛИЧИЙ МЕЖДУ ДАННЫМИ РАЗНОГО ПРОИСХОЖДЕНИЯ
Итак, коллеги, я так и надеялся, что большинство "экспертов" попадут в ходе этого опроса в сети ВК "пальцем в небо", точней - в "черный квадрат" ! :) Честно говоря, если бы я не знал реальной статистики, я бы тоже, наверное, сел бы в эту же самую лужу...
На самом-то деле знаете, какая картина по объективной статистике оказалась более узнаваемой, чем "Черный квадрат"? - Картина Ивана Айвазовского "Девятый вал"! Именно "Девятый вал" в нашем КИТТ привел к безошибочным ответам почти в 1500 попытках (!). А эксперты, как видите, поставили в своем голосовании "Девятый вел" только на 4 место :) Ну немножко поясню тут задачку тестируемого (для тех, кто еще не участвовал в тест конкурсе): На экране предъявлялась именно картина, а задача была - выбрать имя автора из 8 предложенных.
Это дает нам повод немножко порассуждать вот о чем (с позиции научной тестологии).
НЕ СЛЕДУЕТ СМЕШИВАТЬ РЕАЛЬНУЮ СТАТИСТИКУ ПОВЕДЕНИЯ ИСПЫТУЕМЫХ В РЕЖИМЕ ВЫПОЛНЕНИЯ ТЕСТОВ И ЭКСПЕРТНЫЕ ОЦЕНКИ ВОЗМОЖНОГО ПОВЕДЕНИЯ ИСПЫТУЕМЫХ В РЕЖИМЕ "ПРОГНОЗА".
В свое время, чтобы различать данные, имеющие разное происхождение, Раймон Кэттелл ввел такие обозначения:
Q-данные - это данные всевозможных опросников (от слова questionnaire),
T-данные - это данные, полученные в ходе решения задач (от слова testing).
Хочу Вас удивить: выборка из 27 экспертов, которые "попали пальцем в небо" не сильно отличается по составу от тех наших испытателей, которые принимают участие в проекте КИТТ (там у нас тоже много психологов и других гуманитариев). Дело не в том, что выборки разные, а дело в том, что когда человек решает задачу (видит реальную картинку и должен вспомнить имя автора), у него в голове протекают ДРУГИЕ МЫСЛИТЕЛЬНЫЕ ПРОЦЕССЫ, чем те, которые возникают в ситуации экспертного опроса (!). Это понятно?
ВЫВОД: при разработке тестов нельзя отменить (подменить) этап пилотных испытаний теста и остановится на этапе "экспертных оценок качества тестовых заданий" (нельзя заменить тесты опросами). Экспертные оценки тоже нужны, но нужны после них и обязательные пилотные испытания. Этому мы обучаем наших участников Дистанционной ПсихоМетрической Школы (по программе "Конструирование тестов знаний"). Ближайшая состоится в январе-феврале, запись на нее открыта.
ЭТА СТАТЬЯ БЫЛА ЛИ ПОЛЕЗНОЙ ДЛЯ ЖЕЛАЮЩИХ ЗАРАБОТАТЬ НА ОПРОСАХ?
Если "да" в ответ на последний вопрос, выписанный мной здесь крупным жирным шрифтом, то, пожалуйста, оставляйте свои мейлы и имена (или псевдонимы, ведь клуб КИТТ не требует настоящий ФИО). Можете написать это мне "в личку" в сети ВК (в месснджер, чтобы не светить свой адрес для всех). И Вам придет рассылка из клуба КИТТ - с приглашением поучаствовать в очередном тест-конкурсе с шансом немного выиграть и немного заработат.
Почему я впервые разрешаю оставлять заявки мне лично? - Потому что НЕ боюсь, что заявок будет много. Скорее всего администрация Дзен ограничит число показов этой публикации - также, как они то делали всегда. Пока не решаюсь выкинуть 70 тысяч рублей "на ветер" - заказать платную рекламу КИТТ здесь на Дзен. Уж слишком безнадежной выглядит эта площадка для рекламирования таких "узконаправленных проекто" ("нишевых", как говорят маркетологи). Ведь "тесты для самопознания" - это не зубная памяти и не стиральный порошок :)
Фото обложки автор подобрал в галерее картинок Яндекса, куда она попала с сайте dzen.ru