Lamoda — это 9 000 сотрудников и работа в 24 странах. Каждый день миллионы людей листают каталог, добавляют товары в корзину, сравнивают размеры и оформляют заказы. Чтобы понять, какие кроссовки положить на главную страницу и сколько курток завезти на склад в Новосибирске, компания построила собственную платформу аналитики в реальном времени.
🗄 Откуда берутся данные
Каждое твоё действие на сайте — это данные. Посмотрел карточку товара, добавил в избранное, сравнил два размера, оформил заказ, отменил через час — всё записывается.
Но это только верхушка. Параллельно работает склад: товар приняли, разместили на полке, собрали в посылку, передали курьеру. Курьер выехал, доставил, клиент примерил, половину вернул. Каждый шаг — отдельная запись.
Данные стекаются из разных мест: из основной базы заказов, из системы учёта товаров, из потока событий о поведении пользователей, из поисковой системы сайта. Представь несколько рек, которые впадают в одно озеро — примерно так это и выглядит.
⚙️ Как данные попадают в систему
Сырые данные — это хаос. Один отдел записывает дату как «12.05.2024», другой как «2024-05-12», третий вообще словами. Один и тот же клиент в разных системах может называться по-разному.
Поэтому существует конвейер обработки. На вход заезжает сырьё, внутри происходит очистка, стандартизация и объединение, на выходе — готовые таблицы, с которыми можно работать.
Всем этим управляет система-диспетчер под названием Airflow. Она следит, чтобы задачи выполнялись в нужном порядке: сначала загрузить свежие заказы, потом обновить статусы доставки, потом пересчитать остатки на складах. Если что-то сломалось — диспетчер поднимет тревогу и попробует починить.
Для тяжёлых расчётов — например, проанализировать поведение всех пользователей за месяц — используют Spark. Это как вместо одного грузчика нанять сотню: задача разбивается на части и выполняется параллельно.
🏗 Где всё это хранится
Обычная база данных отлично ищет конкретный заказ по номеру. Но попробуй в ней посчитать средний чек по всем заказам за год в разбивке по городам и категориям товаров — зависнет надолго.
Поэтому данные копируют в специальные хранилища. Lamoda использует ClickHouse — это база, заточенная именно под аналитику. Она хранит данные не строками, а колонками. Звучит как мелочь, но благодаря этому запрос «посчитай сумму всех заказов» работает в десятки раз быстрее.
Для долгосрочного хранения — истории за годы — используют Hadoop и облачное хранилище Amazon S3. Это как архив: данные лежат дёшево, достать можно в любой момент, но не мгновенно.
📊 Как команды видят данные
Категорийный менеджер открывает утром дашборд в Tableau: какие бренды продаются лучше, где провалы, что пора уценить. Принимает решения не на интуиции, а на цифрах.
Операционная команда смотрит в Grafana на скорость сборки заказов: где затор, кто из складов отстаёт. Маркетологи в Redash проверяют, сколько стоило привлечь покупателя из каждого канала и кто из них реально покупает, а кто только смотрит.
💡 Что интересного
Lamoda не стала покупать готовое решение для аналитики в реальном времени — построила своё. Это позволяет видеть, что происходит прямо сейчас: какой товар вдруг начали массово искать, где курьеры застряли, какая акция выстрелила. Для e-commerce, где тренды меняются за часы, это критично.
Отдельная история — связка данных о поведении на сайте с данными о складских остатках. Если какой-то товар начали чаще смотреть, система понимает это раньше, чем он закончится на складе.
---
Хотите построить похожую систему для своего бизнеса? Пишите, разберём вашу ситуацию!