Павел Бабошкин

В ответ на пост #68 #исследования Продолжаю тыкаться в труд Вальда, нравится как он сначала идейно затем технически описывает предлагаемые концепции. Например: Базовая идея - последовательный тест это просто описание правил по тому как на каждый момент теста делать выбор одного из 3 действий: 1) Принять гипотезу H 2) Отклонить гипотезу H 3) Продолжить эксперимент для сбора данных Формальная идея - вводим для каждого m пространство вариантов M размера m всех последовательных наблюдений, для каждого m делим пространство вариантов на 3 взаимно исчерпывающих и исключающих множества R0, R1, R2 и проводим тест пока множество вариантов не попадет в множество R2 И еще момент сегодняшнего вечера, который хочу трижды зафиксировать - приятное описание основных характеристик процедуры последовательных тестов: - OC функция = L(theta) - описывает насколько хорошо тестовая процедура достигает цель осуществления правильных решений - ASN функция E(n|theta) - описывает ожидаемые затраты в размере наблюдений на проведение теста То есть тредофф в тесте то у нас тот же самый, как в "статичных" процедурах, только инструмент гибче. PS. И финальная мысль по теме - странно что вообще за 30 лет развития интернет аналитики стандартом стали "статичные" тесты, кажется что если отбросить сложность реализации, то последовательные тесты и ментально лучше ложатся на мышление бизнес пользователей и тупо кост эффективнее

#67 #жизнь Рад что теперь знаком с лекцией «Вы и ваши исследования» доктора Ричарда Хэмминга (RU перевод), узнал о ней из канала KISS Она слишком концентрированная, чтобы переписывать сюда какие-то поинты, поэтому считаю что 20 минут прочтения того стоят, лишь немного "продам" эту идею - Хэмминг крутой и поработал он с кучей других крутых людей и науки, наблюдения за этими людьми он и рассказывает, отвечая на вопрос: "что отличает тех, кто делает великую работу от остальных" Кажется это полезно будет регулярно перечитывать, дабы проверить свои действия адекватности для цели "великой работы", сейчас себе выписал следующие западающие пункты: - какие задачи важны в моей области - редко задавал себе этот вопрос в контексте прикладной работы, а надо бы - работаю за "закрытой дверью" - мало коммуницирую с коллегами из сферы - утверждение эго + работа с системой - часто трудно согласиться на компромисс с системой и отойти от того, что я считаю верным и завершенным

#66 #исследования Если вы работаете с данными в целях исследований, то почти наверняка на любом собесе спросят о p-value. У Валеры в заметке полезная ссылка на Кохави, мне тоже нравится это определение (перевод): p-value это вероятность что тестовая статистика будет такой же как наблюдаемая или больше если верны все предпосылки, в том числе сама тестируемая гипотеза Сегодня еще встретился с занятным вопросом по теме - а что будет если отбросить в определении часть "такой же как наблюдаемая или больше" - то есть просто чему будет равна вероятность встретить тестовую статистику равную полученному p-value? Ответ: 0, потому что p_value это площадь под кривой распределения статистики, а площадь под точкой равна 0

#65 #исследования Начал читать Sequential Analysis By Abraham Wald к текущему часу понравилось 3 момента: 0) Первые описания процедур последовательного тестирования так впечатлили военных, что они запретили о них подробно писать в статьях 1) Говорит, что переход в последовательному тестирования может экономить до 50% ресурсов (ака необходимых наблюдений) в тестах 2) Пока самое лаконичное встреченное объяснение что такое тестирование: Процедура тестирования - это деление пространства вариантов на две взаимоисключающие группы - Г1 и Г2, таким образом что попадание наблюдения в Г1 отклоняет гипотезу, а попадание в Г2 нет, в таком случае Г1 называем критической областью. Тогда выбор процедуры тестирования это эквивалент определения критической области.

#64 #исследования Закончил гугловский Machine Learning Crash Course, в целом норм, простой, но быстро перечитать основные моменты самое то Правда последний модуль вообще не понял "Fairness" - это новое для меня видение "справедливости" ML, где в первой половине модуля говорят ± информативно о смещениях в данных, а вторая половина растекается в чем-то в духе "права, равенство, свобода, ответственность" и к этому есть вопросы: А) Предлагают особенные функции потерь, которые будут ограничивать модель если она по некоторым осям накладывает условия. ... male/female students versus nonbinary students) by adding a penalty for differences in the prediction distributions for the two groups. Не понимаю ни идейного смысла задачи, ни рационального - если мы не хотим учитывать влияние чего-то, то почему просто не включать это в модель? Б) Топики "demographic parity, equality of opportunity, counterfactual fairness" перечитал несколько раз но так и не понял прикладную суть. Там разбирается какой-то абстрактный пример о том, что модель должна для разных групп населения давать одинаковые распределения прогнозов, но почему? Себе 3 объяснения этого модуля находил: 1) Это какой-то очень заморочный способ объяснить стратификацию, не называя ее - едва ли 2) Это неуклюжий заход в причинно-следственный анализ с учетом соц. факторов. Ну типа если вы вдруг заметите что по признаку расы можно неплохо делать кредитный скоринг, то это не значит что раса влияет на вероятность возврата, а наверняка есть опущенные переменные - уже вероятнее, но зачем тогда пытаться запрячь модель игнорировать этот фактор? 3) Это слеваченный новый модуль - мои 10 минут поиска идут в пользу этой версии, грустно. Вообще не верю что какой-то серьезный vluation|profit бизнес будет ставить задачу в духе "нам нужно лучше всех на рынке прогнозировать X, но чтобы по всем полам и расам прогноз был одинаковый"

#63 #жизнь #работа Часто в контексте трудовой деятельности стала фигурировать "эмпатичность". Штука при правильном восприятии полезная и развивать определенно надо, но есть и странности, например: 0) Забавно что вообще в сравнительном ряду профессий с эмпатией в википедии стоят сиделка, воспитатель и менеджер. 1) Считаю, что в работе полезно давать разные распределения когнитивной и эмоциональной эмпатии: — на ежедневной основе превалирует когнитивная, она позволяет продуктивно коммуницировать рациональным агентам — эмоциональная зачастую "дороже", но определенно нужна для "продажи" чего-либо 2) У меня наблюдений пока что немного, но в них видится то, что спрос на особый подход/внимание обратно пропорционален эффективности Можно конечно вообще обмазаться ссылками на Чески (airbnb) и Хуанга (nvidia) + цитатами вида "Almost no great CEO in history has ever done them [1-1]", но это не содержательно. Все же они как-то построили крутейшие компании, определенно для этого нужен великий скилл налаживания атмосферы в коллективе, вопрос как они это сделали и избегали "терапевтической" части коммуникаций? Есть гипотеза что с помощью баланса из п.1 и подбора команды из +[много сигм] части распределения Но чтобы это проверить надо то всего-ничего построить миллиардную компанию и философствовать в linkedin-е 🤓

#62 #жизнь Подряд вещаю тут уже 62 дня, что заметил к текущему моменту: + Заобщался с занятными товарищами + Стало еще лучше с дисциплиной + Ощущаю бОльший рост в темах по которым вещаю (на момент старта казалось было около плато) + Стало сильно проще факапить во всех сферах. Ну типа ошибусь в чем-то, ну увидит его кто-то ну и че? - Все еще есть неприятное ощущение ответственности за написанное. В целом ставить планку хоть какой-то содержательности это ок, но я регулярно пишу по 2-3 разных заметки и полностью стираю ибо мне не нравится. (и да это уже стало лучше, поэтому последний плюс не противоречит этому минусу) Как итог, кажется полезным упражнением определить круг целей и записывать прогресс по ним куда-то, считаю что стоит продолжить UPD: а еще это полезное напоминание сколько времени проходит, как говорится the days are long but the decades short

#61 #исследования Я веду и постепенно дополняю набор вопросов для оценки места, куда зовут работать, с недавних пор в него внес пункты про то, как ребята работают со встречами. Раньше просто спрашивал как много встреч и какого типа, теперь считаю что критично важно понимать культуру работы со встречами, из хороших примеров: - В любой встрече в Amazon, организатор пишет по фреймворку кто нужен, для чего и к чему должны прийти, что для этого надо - Вот тут (ссылка) вообще говорят, что в Амазоне презенташки не ведут, и executive's умеют читать текст (в это с опытом верю все меньше) - В nvidia слышал, что могут быть значимые проблемы если создаешь встречи без описания сути и повестки Отдельный бан за ситуации, когда ты приходишь с вопросом и просишь ссылку на документацию, тебе кидают встречу через неделю на которой через 5 минут сходимся во мнении, что ссылки достаточно 😕

#60 #работа В последние дни тусую около анализа оттока и вообще не понимаю как быть с расхождением видения и разных стейкхолдеров: "Бизнес" - хочет понятный, крупный сегмент и какую-нибудь механику к ним vs "СVM DS" - мы поюзерно скорим вероятности отклика и выбираем только то, что оптимально под метрики задачи Душой я с DS, как минимум валидный аргумент, что если бы был известен некоторый золотой сегмент/оффер его бы уже реализовали Но доказательств в то, что таких запрос "бизнеса" нереализуем у меня нет. Да, можно 10 раз покрутить в типовых срезах людей, понять что новых результатов нет, и пойти дальше, но достаточная ли это аргументация или вдруг заказчик прав и мы все дружно вафлим какую-то golden фичу, которая аудиторию то и поделит как надо на курсах к такому не готовят 🗿🗿🗿

#59 #работа В последние дни много работаю с data lens, есть пара мыслей: 1) Вообще не понимаю как там устроены id сущностей. Вроде модульная система подключение-датасет-график-отчет придумана чтобы переиспользовать сущности, но если пытаться поменять в датасете таблицу на идентичную по ddl но с другим названием, то DL сломает рандомные поля и придется протыкивать в каждой картинке что field=field 2) Кажется он ломает партицирование, иначе не могу объяснить почему график по датам с фильтром на поле партиции грузится кратно дольше чем моно таблица. Самые находчивые предложат инспектировать генерируемый запрос, но эти генерации выглядят как страшный сон, вот кто и почему решил что перекодировать в запросе все поля на кастомные айдишники - хорошая идея? 3) Плохо что нет возможности делать кэшированные сущности. Вот у меня есть 20 фильтров, значения в 18 из них статичны и чтобы не грузить базу хорошо бы их определить один раз и все, но так нельзя, либо каждый раз будет select distinct field отправляться либо сиди руками вводи доступные опции Есть ощущение, что не все кто причастен к разработке DL создали 5+ отчетов, ибо с проблемой номер 1 столкнется каждый, кто делал 2+ версии одного отчета И да, это нежное напоминание, что стоит пользоваться тем, к чему причастны, так как-то даже приятнее чтоль заниматься этим всем

#58 #исследования С 1 февраля проводил тут эксперимент - перед публикацией сообщения в личку отправлял эмодзи 🎲, при выпадении четного числа ставил сам себе реакции (что-то в духе группы "тест"), при нечетных не ставил (аналог группы "контроль") В тотале: - тест - 14 сообщений, 46 реакций, среднее 3.3 - контроль - 22 сообщения, 32 реакции, среднее 1.5 Прирост 125% Было 3 заметки с аномальным числом реакций - 1, 2, 3.1, 3.2, если их убрать, будет: - тест - 12 сообщений, 23 реакции, среднее 1.9 - контроль - 21 сообщение, 21 реакция, среднее 1.0 Прирост 92% Дискуссию о значимости заводить не буду, добавлю только то, что ГСЧ в виде кубика в телеге проверял отправкой кучи сообщений себе через бот, работает адекватно Прикладных мысли извлек 2: - вероятно конверсия в постановку первой реакции ниже, ибо сделать это сложнее - 2 клика vs 1 - банальный momentum

В ответ на пост #57 #исследования А я таки продолжил - подробная заметка Итоги - По значимости коэффициента нельзя делать вывод об отборе. Значимость у lasso почти не отличается от базовой модели, хотя некоторый отбор под капотом просиходит - Разные значения регуляризатора не меняют значимость оценок коэффициентов у lasso, но ожидаемо влияют на ridge (потому что он прямо в 0 сводит) Что делал 0) Создал сетку параметров - alpha (для регуляризации), количество фич, доля значимых фич, 1) Генерировал данные для регрессии + случайно трансформировал их дабы не все так идеально для моделей было 2) На каждой генерации бутстрепом оценивал коэффициенты ols, ridge, lasso моделей и считал их значимость 3) 1-2 повторяем много раз для каждой комбинации параметров и усредняем итоги Картинка: