Недавно был на вебинаре от Lukas Vermeer про культуру экспериментов в компании. Лукас проработал более 8 лет в Booking.com, начиная с датасайнтиста и менеджера продукта, заканчивая директором по экспериментам (да, прямо такая позиция Director of Experimentation). Сейчас он консультирует компании разных размеров по построению систем для экспериментов и консультирует разработчиков продуктов для A/B тестирования. Короче, человек знает очень много про A/B тестирование.
Лукас поделился отличной классификацией уровня тестирования в компании. Консультанты любят такие таблицы, рассмотрите её внимательно, это полезно!
Как говорится, чтобы двигаться вперёд, нужно сначала понять где вы сейчас. Мы с командой сошлись на том, что мы где-то между Walk и Run, причём больше Walk. Есть над чем поработать.
В конце вебинара Лукас поделился историей про лучший, на его взгляд, эксперимент в Booking.com.
Проверяли гипотезу, что при бронировании гостиницы пользователю будет полезно предложить билеты в музеи и другие интересные места в районе её расположения. Для проведения полноценного A/B теста нужно было бы сделать интеграцию с системой продажи билетов, интерфейс выбора, возможность возврата, службу поддержки и многое другое.
Сделали проще. В одном из туристических городов связались со всеми основными музеями и договорились, что в определенный уик-энд всем посетителям, кто покажет подтверждение бронирования гостиницы на эти даты в этом городе с номером бронирования на Booking, музей предоставит бесплатный вход, а Booking компенсирует стоимость билетов с небольшим бонусом. Клиентам, забронировавшим поездку на эти даты, прислали письмо, где предлагалось посетить музеи из списка со скидкой и без предварительной оплаты.
В итоге за два дня получили реальное подтверждение гипотезы, а ещё массу информации о предпочтениях, расстоянии от гостиницы до музея, времени посещения и так далее. Клиентам, которые воспользовались предложением, потом прислали письмо о том, что билеты это подарок от Booking за участие в эксперименте. Судя по текущему объему предложений в разделе Attractions, эксперимент был успешным и компания нашла новый источник доходов!
Продакту на заметку: эксперименты это не только A/B тестирование. Существует масса способов проверить гипотезу, и A/B тест один из самых дорогих вариантов в плане ресурсов на разработку и поддержку инфраструктуры.
Несколько советов по проведению A/B тестов, которые мне больше всего запомнились на вебинаре:
✔️Эксперименты помогают проверить наши догадки, которые очень несовершенны. Большая часть экспериментов заканчивается откатом изменений, которые не дали ожидаемого эффекта. В Booking таких 90%, в Google 92%, в Microsoft 67%, в Bing 90% (на базе данных, которые публично раскрывали представители этих компаний)
✔️Курица или яйцо? Есть опасность принять корреляцию за следствие. Например, пользователи, которые используют фильтры при поиске отеля лучше конвертируются в бронирование. Это потому что фильтры помогли? Или потому что те, кто их использует, более опытные и имеют больше опыта в онлайн покупках?
✔️Прозрачность и общение. Чтобы количество и качество экспериментов росло, нужно создать систему открытого доступа и возможность обсуждать эксперименты для всей компании. В Booking есть что-то вроде социальной сети вокруг базы экспериментов, где очень часто по опыту Джонаса в комментариях рождались новые гипотезы и полезные дискуссии о результатах тестов
✔️На большом масштабе (около 1000 человек участвуют в экспериментах, около 100 новых A/B тестов в день — цифры на момент ухода Джонаса из Booking), важно удобство доступа к базе экспериментов. Система поиска и фильтров по: платформе, тегам, команде, дате проведения, значимости, целевой метрике, имени участника. Система уведомлений о новых/закончившихся экспериментах на базе этих фильтров. Хочу такую!
И главное. Чтобы культура экспериментов развивалась в компании нужно чтобы у всех, а в первую очередь у руководства, было понимание что эксперимент — единственное 100% подтверждение гипотезы.