Как банку удалось обратить себе на пользу затратный процесс импортозамещения, какую роль в этом сыграл подход Data Mesh и с какими вызовами пришлось столкнуться при миграции данных, рассказывает Николай Шевцов, CDO ОТП Банка.
— На ваш взгляд, какие основные барьеры встают перед банками в процессе импортозамещения, какие ошибки они допускают и к чему это приводит? Какой путь решили выбрать вы и почему?
Н. Шевцов: Когда речь заходит про импортозамещение, как правило, акцент делается на замене технологических элементов — инструментах DWH, Data Governance, Data Quality, BI… Тема очень модная, выбор в целом есть — можно использовать Open Source, российские и даже китайские решения.
Но проблема этих решений для крупных организаций — в их молодости и, соответственно, наличии «детских болячек»: недостаточной стабильности, нехватке специалистов на рынке, несовершенстве процессов поддержки и отсутствии устоявшихся подходов в использовании.
Мы решили подойти к импортозамещению как к возможности трансформировать процессы в части Data Governance, найти способ встроить их в ландшафт организации и заодно поменять mind-set сотрудников всех уровней, работающих с этими технологиями.
Наша идея в том, чтобы изначально создать систему, максимально закрывающую потребность организации в прозрачности использования данных, их владельцев и потребителей. Мы хотим понимать, в каких бизнес-процессах используются данные, достаточны ли их состав и качество, кто определяет эти метрики и, конечно, какова стоимость использования определённых наборов данных.
— С чем вы имели дело на старте?
Н. Шевцов: На старте у нас был большой корабль на 120 терабайт, включающий в себя множество legacy, хранилище работало на платформе Oracle Exadata. В целом всё функционировало неплохо, и, казалось бы, мы должны были быть довольны… Тем не менее было несколько очень важных «но».
Первое — наличие пресловутых пользовательских песочниц: того, что точно следует отправлять за борт. Дело в том, что песочницы обычно создаются для решения локальных задач и данные из них потом никем не используются. Фактически задействуются немаленькие ресурсы на генерацию потока бесполезных в масштабах компании данных, которые «отъедают» дорогостоящее дисковое пространство. Для нас это было явно нецелевое решение, которое мы не хотели брать с собой в будущее.
— Чем вы решили его заменить и какой груз перенесли на новый борт?
Н. Шевцов: На замену стали строить суперкомфортабельный лайнер, пригодный для жизни всех сотрудников, на котором они могли бы:
— пользоваться данными, которые генерируются разными подразделениями, и не тратить время на формирование новых потоков;
— не переподключать каждый раз заново источники данных, которые уже подключены к хранилищу;
— отказаться от лишних костов в пользу переиспользования данных и построения процессов работы с данными, нацеленных на повышение качества их обработки и, конечно, извлечение прибыли.
На борт решили взять Greenplum, Hadoop, Apache Airflow, Superset и российское решение по управлению данными. Все системы внедряются исключительно нашей собственной командой, без привлечения внешних консультантов.
— С какими вызовами пришлось столкнуться в первую очередь?..
Продолжение читайте на https://futurebanking.ru/post/4067
