Работа в Яндексе обязывает и на поддержку переносить продуктовый подход. Так, на днях мы закончили наш первый а/б тест. Мы поделили в одном сервисе входящий поток писем на две корзины случайным образом и изменили для одной корзины один параметр обслуживания — SLA ответа. Наша цель была понять, как повлияет это изменение на CSAT пользователей.
Проведение эксперимента потребовало доработок нашей CRM: нам надо было научиться делить поток случайным образом и отдавать его в работу так, чтобы соблюсти желаемый SLA. При этом важно было сохранить все остальные параметры одинаковыми (например, те же отвечающие саппорты, чтобы на результат эксперимента не повлияли их квалификация и опыт).
Почему нельзя было просто поменять целевой SLA для всего потока и следить за изменением CSAT? Потому что на CSAT влияют десятки факторов. Во время нашего двухнедельного эксперимента на сервисе вышло несколько обновлений, к команде саппортов присоединилось несколько новичков, в Москве ввели QR-коды (а один из кластеров наших пользователей — кафе и рестораны, работа которых зависит от таких новостей). И если бы мы отслеживали общий показатель CSAT всего потока, то мы бы увидели, что он снизился. А сравнивая две корзины, находящиеся в равных условиях за исключением одного SLA, мы увидели существенную разницу.
Ну и, в соответствии с феноменом Баадера-Майнхоф, мне тут же стали попадаться на глаза разные материалы про исследования пользователей. Делюсь гайдом для новичков о видах исследований, качественных и количественных. О каждом из них я так или иначе слышала и некоторые даже использовала, а в методичке они хорошо систематизированы по задачам, которые с помощью них можно решить.
С удовольствием делюсь.