Интересуетесь бизнес-анализом в ИТ? Приглашаю Вас ознакомиться с моей книгой "Профессия "бизнес-аналитик". Краткое пособие для начинающих", которая вышла в издательстве "Олимп-Бизнес".
Вторая часть статьи, написанной по итогам выступления Влада Исмагилова из Яндекс.Маркет.
Первая часть здесь.
Идеальный аналитик
По словам Влада, идеальный аналитик:
- Обладает техническим складом ума;
- Интроверт;
- Любит программировать. Но не обязательно умеет. Главное для него – решить задачу, качество кода значения не имеет;
- Ленив, поэтому стремится сразу сделать хорошо и использовать результат своего труда при решении других задач;
- Любит задавать вопросы, причём и себе и заказчику.
Яндекс.Маркет генерирует в день порядка 10 терабайт лог-файлов. Это очищенный и пригодный для анализа текст. Поисковая система Яндекса генерирует уже 250-300 терабайт логов в день. Поэтому ещё одним качеством хорошего аналитика Влад назвал стремление сэкономить вычислительные ресурсы компании.
Кроме того, для аналитика важна критичность мышления, понимание причины и следствия и объективность. По словам Влада, объективность даже важнее, чем навыки работы с данными и математическими инструментами.
Кейс об объективности.
1950-е. США. Президентские выборы. Технологический процесс печати газет несовершенен и требует много времени. Чтобы первой выйти с передовицей о новом президенте, газета обзванивала сотни тысяч граждан с одним вопросом: за кого они проголосовали. По результатам опроса газета подготовила статью для первой полосы: победил кандидат X! Эта статья была написана до объявления официальных итогов выборов. Когда же объявили официальные итоги, в газете испытали шок: победил кандидат Y!
Почему же так вышло? Всё дело в нерепрезентативной выборке. Несмотря на то, что при звонках учитывались пол, возраст, штат и множество других параметров, один существенный фактор был упущен. Газетчики ЗВОНИЛИ своим респондентам. Т.е. в выборку попали только жители США, имеющие домашние телефоны. Для 1950-х годов – это довольно существенное отклонение.
Вывод один: природа данных важнее всего.
У аналитиков нет KPI. Для профессии аналитика характерна коллективная ответственность. Если команда аналитика добилась успеха – аналитик хороший. Если команду постигла неудача – аналитик плохой, как бы он ни старался.
Важной задачей аналитика является поддержание в команде единого информационного поля и согласованности цифр. Именно аналитик следит за тем, чтобы все в команде видели ситуацию в едином ключе и одинаково трактовали те или иные метрики. Кроме того, аналитик консолидирует знания о компании: знает где и что происходит и как это может повлиять на проект.
«Хороший аналитик – термостат, а не термометр». Иными словами, задача аналитика не фиксировать действительность, а поддерживать базовые показатели на нужном уровне.
Метрики
В контексте этой статьи, метрика – инструмент для статистической оценки и анализа поведения пользователей. Т.е. метрики представляют собой показатели, позволяющие делать выводы и принимать решения.
Базовые принципы метрик:
- Больше метрик – не всегда больше пользы и решений;
- Всегда загруженный аналитик – не всегда много пользы. Оптимальная загрузка аналитика – 70%. Оставшиеся 30% отводятся аналитику на творческие исследования, изучение новых областей, самообразование;
- На разных этапах развития продукта разные базовые метрики. Нельзя однажды выбрать метрику и всю жизнь оценивать продукт только по ней;
- Не всегда удаётся сделать красивую иерархию ключевых показателей и однозначно установить взаимосвязи между ними. Хотя к этому и стоит стремиться;
- Базовые метрики не всегда будут основой для принятия решений в моменте.
Упрощённо, выделяют 2 типа метрик:
- За которыми следим. Метрики, которые не должны упасть ниже определённого уровня;
- Которые растим. Чем больше метрика – тем лучше.
Также Влад поделился мнением о том, как выявлять неэффективные виджеты. Если на основе виджета можно сделать 2 противоположных вывода – от виджета можно смело избавляться.
Ещё раз об A/B тестах
Общее описание A/B тестирования приведено в разделе «Продуктовая аналитика» (см. первую часть статьи). A/B тесты – главный операционный инструмент продуктовой аналитики. При этом инструмент достаточно дорогой.
Структуру эксперимента в рамках теста определяет аналитик. Она состоит из:
- Смысл и размер сплитов. Сплиты – это составляющие на которые мы делим сервис, аудиторию и т.п. Например: сервис с красной кнопкой и сервис с синей кнопкой;
- Длительность эксперимента;
- Даты проведения. Сезонность может значительно повлиять на результаты;
- Фиксирование гипотез, которые проверяются экспериментом. Определение вилок решений – куда движемся, получив те или иные результаты;
По словам Влада в Яндексе из 1000 экспериментов:
- 700 экспериментов «роняют» метрики и признаются неудачными;
- 200 экспериментов никак не влияют на метрики;
- 100 экспериментов влияют положительно.
Секреты работы с аналитиками
Секрет хорошего вопроса аналитика
- Понятна цель задачи;
- Усилия докопаться до конечной цели сведены к минимуму;
- Понятно описание проблемы;
- Усилия докопаться до описания проблемы сведены к минимуму;
- Есть понятная вилка решений;
- Аналитик предлагает свои варианты итогового решения.
Секрет хорошего ответа аналитика
- Для решения задачи выбран корректный подход;
- Есть достаточный набор цифр и фактов;
- Есть понятный рассказ про итоги работы;
- Есть предостережения об интерпретации полученных данных: «можно сделать вывод А при условии Б с вероятностью В».
- Аналитик предлагает свои варианты итогового решения.
Заключение
По итогам семинара стало понятно, насколько многогранна, сложна и интересна работа аналитика. Два специалиста с одинаковыми должностями могут решать диаметрально противоположные задачи. Современный аналитик превращается в универсального солдата с навыками бизнес-моделирования, анализа данных, психологии и прототипирования интерфейсов. Прошедшая встреча помогла мне разложить по полочкам свои знания об аналитике как профессии и дала понять, сколь многому нужно учиться.