### Не самый короткий ответ “скептикам”
Затея с ТИМЛИДОМ 2025 крутилась вокруг феномена логирования, но я и не представлял, что может “так” получиться.
У меня была некоторая гипотеза: если человек (участник конференции) задаёт себе вопросы о том, на какой доклад пришёл, зачем пришёл, какую пользу ожидает, какую пользу получил — то к концу конференции у него будет значительно больше практических идей для реализации. Потому что он будет перерабатывать информацию, получаемую от докладчиков, в контексте «проблема — решение».
В общем, если проверять, то с масштабом. Напросился я на открытие, то есть моим докладом открывали конфу. На первый доклад традиционно максимальное число участников (онлайн и офлайн). За 50 минут на сцене я рассказал им про методы медленной продуктивности и одну технику, которую предложил практиковать на протяжении всей конфы — вот детализированное задание.
А на следующий день я проверял, какой эффект (положительный или отрицательный) получили участники от логирования. Для этого разработал A/B-тест с некоторым объёмом вопросов: открытых, закрытых, со шкалами и выбором ДА/НЕТ. Но среди всех вопросов был один, наиболее важный — он и был целью:
«Сколько из докладов, где вы были, оставили вам минимум одну ценную идею?»
Ну а дальше — всё по закону жанра. Провёл мастер-класс, где ребятки два часа отрабатывали результаты от конференции, отвечали на вопросы из четырёх категорий:
1. Формирование ожиданий;
2. Фиксация новых идей;
3. Связь с профессией;
4. Трансформация в действие.
Потом попросил их выполнить A/B-тест, а вечером собрал данные в табличку. Размер группы — n = 59 участников. Отправил результаты опроса в программный комитет и Максу.
Говорю: «Смотри, какие циферки».
Мы немного обсудили друг с другом, что значение p-value не показывает статистической значимости между теми кто логировал и теми кто не логировал. Подумали и решили взять тест Манна-Уитни, он в случае когда группы независимые (18 — кто логировал, и 41 — кто не логировал) лучше покажет их соотношение друг к другу. С помощью теста можно оценить: больше ли “ценности” в одной из групп. У теста специфическая методика расчёта, «ручками не посчитаешь», но существует уйма калькуляторов — вот например, чтобы не конопатиться с Excel’ем. Проверил параметры и… понеслась.
Действительно, те, кто логировал деятельность во время конференции, ушли с бОльшим количеством практических идей, чем те, кто не логировал. Короткий результат, полуакадемическим языком:
Согласно непараметрическому критерию Манна–Уитни, различие между тем как отвечала одна группа и другая было статистически значимым: U = 231, Z = −2.16, p = .015. В пересчёте на размер эффекта это соответствует r ≈ .28, что интерпретируется как небольшой–средний эффект (но тут есть нюансы — думаю, в следующий раз смогу увеличить разрыв, добавив кое-что в практику).
Оценка вероятности найти практическую идею при прослушивании доклада одной группы над другой показала, что у случайного участника из группы логирования с вероятностью ≈69% значение показателя (минимум одна полезная идея на доклад) выше, чем у случайного участника из группы без логирования.
Циферки указывают на то, что систематическое логирование связано с бОльшим числом извлечённых полезных идей после посещения докладов.
### Немного пояснений за “буковки”
- U — статистика Манна–Уитни. Основана на рангах объединённой выборки (чем выше ранги у группы, тем больше U для этой группы).
- Z — стандартизированная версия U (для вычисления уровня значимости p).
- p — вероятность получить наблюдаемую (или более экстремальную) разницу случайно при условии, что нулевая гипотеза («разницы нет») верна.
- r ≈ .28 — размер эффекта, рассчитанный как отношение |Z| к корню из общего числа наблюдений. Это значение показывает, насколько сильна связь между логированием и количеством ценных идей. В интерпретации Кона (Cohen, 1988) это средний эффект — достаточно заметный (и наблюдаемый).
Короче, будем эту “мандулу” превращаться в публикацию РИНЦ или ВАК.
П.С. Мы еще будем проверять циферки, но в первом "приближении", так ...
