Анализ данных и статистика

Сегодня мы с вами узнаем про один из самых упорядоченных и понятных типов информации в мире данных — структурированные данные. Это тот случай, когда данные живут по строгим правилам и слушаются команд без лишних вопросов. Если вы хоть раз работали с Excel или SQL-базой, то уже знакомы со структурированными данными — может, даже не подозревая об этом. В этой статье мы разберем: ✔️ Что такое структурированные данные ✔️ Как они хранятся и обрабатываются ✔️ Где и зачем они используются ✔️ Плюсы, минусы...

Вы когда-нибудь задумывались, как мы храним и обрабатываем данные в современном мире? Почему таблицы в Excel так удобны для отчетности, а видео с YouTube невозможно записать в базу данных в том же формате? Сегодня мы с вами разберем три основных типа данных: структурированные, полуструктурированные и неструктурированные. Вы узнаете: ✔ Как они устроены? ✔ В чем их преимущества и недостатки? ✔ Какие инструменты помогают с ними работать? Структурированные данные – это информация, которая четко организована в таблицы и имеет фиксированный формат...

В современном мире данных важнейшим этапом работы с информацией является ее анализ. Именно на этом этапе происходит извлечение инсайтов, которые помогают принимать решения, повышать эффективность бизнеса и прогнозировать будущее. Существует четыре уровня анализа данных, каждый из которых отвечает на определенные вопросы и имеет разный уровень сложности. Рассмотрим их подробнее. Описательный анализ — это первый и самый базовый уровень анализа данных. Его цель — понять, что произошло в прошлом, изучая собранные данные...

Сегодня мы разберем одну из самых распространенных ошибок в статистике и анализе данных – ошибку базового уровня (base rate fallacy). Это когнитивное искажение приводит к тому, что люди игнорируют начальные вероятности событий, что может приводить к катастрофическим ошибкам в медицине, правосудии, финансах и повседневной жизни. Мы рассмотрим, как работает эта ошибка, какие реальные последствия она имеет и как можно защититься от нее. Ошибка базового уровня – это когнитивная ошибка, при которой люди...

Сегодня мы разберем один из самых удивительных и, на первый взгляд, парадоксальных эффектов в статистике – парадокс Симпсона. Этот парадокс показывает, что тренды, наблюдаемые в отдельных группах данных, могут исчезать или даже менять направление, если объединить все группы вместе. Это не просто математическая загадка – парадокс Симпсона может вводить в заблуждение аналитиков, ученых, маркетологов и врачей, приводя к неправильным выводам. Разберем, как он работает, на реальных примерах. Парадокс...

Сегодня мы разберем эффект якоря (anchoring bias) — один из самых мощных когнитивных эффектов, который влияет на нашу логику и восприятие чисел. Вы, возможно, даже не подозреваете, как сильно он управляет вашим мышлением, особенно при анализе данных, оценке цен, переговорах и даже в повседневной жизни. Определение: Эффект якоря – это когнитивное искажение, при котором человек чрезмерно опирается на первое полученное число или информацию (так называемый "якорь") при принятии решений. Это число может...

Сегодня мы разберем одно из самых известных и часто встречающихся заблуждений в статистике и аналитике данных: путаницу между корреляцией и причинностью. Вы наверняка слышали утверждения вроде: Звучит логично? Возможно. Но означает ли это, что кофе продлевает жизнь, вложения в образование автоматически приводят к богатству, а пожарные вызывают разрушения? Конечно, нет. В этих утверждениях легко можно спутать корреляцию (связь между переменными) и причинность (причинно-следственную зависимость). Давайте разберемся, в чем разница и почему ошибка здесь может стоить дорого...

Сегодня мы поговорим о еще одной коварной статистической ловушке — ошибке смещения отбора (selection bias). Это когда данные, которые мы анализируем, не являются репрезентативными, но мы все равно на их основе делаем выводы. Примеров этой ошибки — масса. Она встречается в опросах, исследованиях, аналитике бизнеса и даже в медицинских тестах. В 1948 году в США на выборах президента столкнулись Гарри Трумэн и Томас Дьюи. Газета Chicago Daily Tribune на основе опросов спрогнозировала победу Дьюи и даже напечатала огромный заголовок на первой полосе: "Dewey Defeats Truman" ("Дьюи победил Трумэна")...

Сегодня мы узнаем о еще об одном коварном заблуждении, которое мешает объективному анализу данных. Это ошибка подтверждения (confirmation bias), и, возможно, вы сталкивались с ней, даже не осознавая этого. Ошибка подтверждения — это склонность искать, интерпретировать и запоминать информацию таким образом, чтобы она подтверждала наши уже существующие убеждения. То есть, если мы уже в чем-то уверены, то бессознательно ищем доказательства в пользу своей точки зрения и игнорируем факты, которые ей противоречат...

Сегодня мы поговорим об ошибке выжившего — классической когнитивной ошибке, которая часто приводит к неправильным выводам в аналитике данных. Это понятие пришло из статистики, но его влияние можно увидеть в бизнесе, финансах, медицине и даже в повседневной жизни. Представьте, что идет Вторая мировая война. Военные сталкиваются с проблемой: возвращающиеся с боевых заданий самолеты имеют повреждения, и их нужно усиливать броней. Но дополнительная броня утяжеляет машину, поэтому нужно усилить только самые уязвимые места...