Сеть из сотен магазинов косметики, 5000 сотрудников и миллионы покупательниц с картами лояльности. Каждый день «Золотое Яблоко» должно ответить на простой вопрос: чего хотят клиенты завтра? Для этого компания собирает данные о каждой покупке, каждом клике на сайте и каждом товаре на складе.
🗄 Откуда берутся данные
Представь: покупательница в Екатеринбурге берёт тушь, показывает карту лояльности, платит. В этот момент рождается десяток записей — что купила, когда, в какой связке с другими товарами, сколько бонусов списала.
Параллельно на сайте кто-то добавляет в корзину крем, но не покупает. Это тоже данные: что смотрела, откуда пришла, почему ушла.
А ещё есть склады: сколько упаковок корейской сыворотки осталось в Новосибирске? Когда заканчивается срок годности у партии в Краснодаре?
Два главных источника: система учёта 1С (продажи, склад, бухгалтерия) и база данных PostgreSQL (сайт, приложение, поведение пользователей).
⚙️ Как данные попадают в систему
Сырые данные из разных источников — это хаос. В 1С товар называется «Помада губная MAC 602», на сайте — «MAC Retro Matte Ruby Woo». Это один продукт, но компьютер не знает.
Поэтому нужен конвейер. Данные заезжают с одной стороны, проходят очистку и склейку, выезжают готовыми таблицами. Всем управляет Apache Airflow — такой диспетчер, который каждую ночь запускает сотни задач: «забери продажи за вчера», «объедини с данными сайта», «проверь что ничего не потерялось».
Если что-то ломается — диспетчер присылает алерт инженерам. К утру таблицы готовы.
🏗 Где всё это хранится
Обычная база данных (тот же PostgreSQL) отлично справляется, когда надо найти один заказ по номеру. Но когда аналитик спрашивает «какой средний чек в категории уходовой косметики по всем городам за полгода» — обычная база задумается надолго.
Поэтому данные копируют в ClickHouse — хранилище, заточенное под такие вопросы. Разница как между библиотекой и складом: в библиотеке легко найти одну книгу, а на складе легко пересчитать все коробки определённого размера.
ClickHouse хранит данные не строками, а колонками. Звучит занудно, но на практике означает: отчёт, который в обычной базе считался бы минуту, готов за секунды.
📊 Как команды видят данные
Каждое утро категорийный менеджер открывает Tableau и видит: что продавалось вчера, какие бренды растут, где остатки на нуле. Если новая корейская маска взлетела в Москве — пора заказывать больше в регионы.
Маркетологи в Power BI смотрят своё: сколько стоило привести покупателя с рекламы, какие рассылки сработали, кто из «спящих» клиентов вернулся.
Финансисты считают маржу по категориям. Логисты — оборачиваемость склада.
Одни данные, разные вопросы.
💡 Что интересного
Программа лояльности — золотая жила. Когда большинство покупок привязано к карте, компания видит не просто «продано 500 помад», а «Мария из Казани покупает люкс раз в два месяца, а Анна из Перми берёт масс-маркет каждые две недели». Это позволяет делать персональные предложения, а не рассылать всем одинаковые скидки.
Связка онлайна и офлайна — редкость. Многие ритейлеры до сих пор не понимают, что клиент смотрел на сайте перед покупкой в магазине. «Золотое Яблоко» может это отследить через ту же карту лояльности.
---
Хотите построить похожую систему для своего бизнеса? Напишите — разберём вашу ситуацию!