Компания «Beeline Казахстан» реализовала уникальный проект в области Big Data на базе решения с открытым программным кодом (бесплатное ПО, требующее внутренней экспертизы в компании, Open Source). Оператором связи была внедрена инновационная база данных на кластере с множеством серверов, предназначенная для хранения и обработки больших объемов данных (десятки петабайт) — Arenadata DB.
Все знают, что развитие технологий Big Data в Казахстане затруднено из-за недостатка специалистов и экспертизы в использовании решений Open Source. Опыт Beeline Казахстан показал, что эти затруднения могут быть успешно преодолены за счёт роста экспертизы внутренних специалистов, путем приобретения ими всех необходимых навыков и умений в сфере Big Data. О том, как такую экспертизу наработать и какие результаты благодаря этому можно получить, рассказывает Андрей Баландин, руководитель подразделения поддержки и развития систем BI компании Beeline Казахстан.
Телеком-рынок Казахстана: лидерство технологий
На телеком-рынке Казахстана уже несколько лет уверенно лидируют компании, которые не боятся внедрять инновационные технологии, в частности технологии Big Data. Инновации открывают новые возможности развития: помогают искать дополнительные источники роста выручки и повышения качества оказываемых абонентских сервисов.
В Beeline Казахстан сравнительно давно используются многие решения, такие как Business Intelligence и Big Data для анализа клиентских данных. За годы работы компания накопила существенную клиентскую базу, которую можно использовать для продвижения дополнительных услуг. Для того, чтобы извлекать из данных ещё больше пользы, в 2018 году компания приняла решение централизованно запустить проект по внедрению DMP (Data Management Platform).
Переход на решение для работы с большими объёмами данных
При выборе технологий для этой платформы прежде всего учитывался опыт российской компании Beeline. Однако нам недостаточно было повторить успех коллег. Мы планировали также вывести процессы по построению витрин данных из основного хранилища в специализированную базу для работы с большими объёмами данных.
Для этой задачи хорошо себя зарекомендовали решения c массово-параллельной архитектурой (данные хранятся и обрабатываются на отдельных узлах кластера). Они позволяют снизить затраты на серверное оборудование с большим объемом памяти, а также добиться высокой отказоустойчивости, не нарушающей целостности данных. Кроме того, такие решения легко масштабируются, что также было очень важно для нас. Оставалось только выбрать конкретный программный продукт. Для этого мы тщательно оценили ресурсы и проработали кейсы, а затем выбрали несколько решений и на базе ИТ-хаба запустили пилотный проект.
В процессе пилота Beeline Казахстан выбор пал на решения российского разработчика Arenadata. Проведя полноценный анализ, мы выбрали решение Arenadata DB (ADB) — аналитическую, распределенную СУБД с открытым исходным кодом, использующую концепцию MPP (massively parallel processing) на базе технологии Greenplum. Arenadata DB выступает у нас в качестве хранилища витрин данных, сформированных на основе данных Hadoop. Большую роль в выборе сыграла готовность специалистов Arenadata и DIS Group (представляет компанию Arenadata в Казахстане) консультировать нас при внедрении и активно помогать нам наращивать собственную экспертизу. Я считаю, что экспертиза внутри компании имеет большое значение при использовании решений open-source, и именно её зачастую так непросто получить.
Beeline Казахстан наращивает экспертизу
Уже при первом нашем знакомстве специалисты Arenadata и DIS Group проявили высокую заинтересованность в проекте и помогли Beeline Казахстан успешно преодолеть самый сложный этап внедрения Open Source решения: когда приходится иметь дело с незнакомым продуктом, по которому отсутствует экспертиза. Совместными усилиями компаниям удалось успешно провести нагрузочное тестирование. Сначала Arenadata DB была развернута на трех серверах на виртуальной среде, а с 2019 года тестовая среда переросла в продуктивную.
В результате мы сохранили своё основное хранилище данных на базе Oracle, в нём находится структурированная информация, реализуются процессы по формированию управленческой отчетности. В Hadoop мы храним неструктурированные и слабоструктурированные данные, а в Arenadata DB создаются новые витрины, дашборды и срезы данных. Из Arenadata DB берут информацию наши BI-системы, и там же пользователи могут самостоятельно напрямую работать с данными.
В последствии мы провели целенаправленное обучение для своих сотрудников по работе с программным продуктом Arenadata DB. Наши специалисты смогли получить необходимый опыт и знания по самостоятельной поддержке и развитию продукта и повысить свою экспертную стоимость на рынке.
Результаты перехода
- Благодаря переходу на Open Source решение Arenadata DB компания получила возможность экономить на лицензиях к программному обеспечению и на стоимости хранения данных. Мы не увеличиваем серверные мощности старого хранилища и его дисковой системы.
- Были оптимизированы расходы на внешнюю разработку в части BI-витрин и дашбордов, теперь разработка проводится силами обученных сотрудников самой компании.
- Удалось существенно ускорить процессы сбора информации: при обращении пользователя к старому хранилищу данных время ожидания порой измеряется часами, в Arenadata DB процесс занимает минуты.
Как Arenada DB помогает бизнесу
Экосистема работы с большими данными, которую мы выстроили, помогает нам эффективно сегментировать клиентскую базу по территориальному признаку вплоть до районов города. Благодаря этим знаниям мы можем лучше понимать ситуацию на местах, информировать менеджмент компании и планировать мероприятия по настройке региональных ценовых предложений и выводу их на рынок.
На основе поведенческих параметров абонентов, информации о потребляемых ими услугах, компания способна создать профиль каждого клиента, понять и проанализировать его нужды, проблемы и предложить наиболее подходящие услуги. Таким образом Beeline Казахстан успешно сохраняет свою абонентскую базу и предотвращает возможный уход клиента к конкурентам.
Отдельно хочу отметить, инициативы компании по замерам индекса NPS (англ. Net Promoter Score), которые помогают оценивать удовлетворённость клиентов услугами Beeline Казахстан. Для этого готовятся выборки абонентов, которых хотелось бы опросить — тех, кто обращался в компанию с претензиями, либо получал точечные услуги. Посредством проведения опросов и анализа результатов формируется общая картина удовлетворённости и проводится дополнительная работа с теми клиентами, у кого этот индекс находится на низких значениях.
Все эти нововведения позволяют Beeline Казахстан делать более персонализированное предложение своим клиентам, экономить на ИТ расходах в том, что касается стоимости хранения данных, быстрее реагировать на изменения на рынке.
Ознакомиться с другими проектами внедрений продуктов Arenadata можно здесь.