Как обеспечить высокую производительность и масштабируемость ПО предприятий и организаций при работе с большими данными? С какими вызовами сталкивается российский бизнес с точки зрения обработки данных? Как создать эффективную систему ПО для обработки больших данных? Какой должна быть архитектура системы больших данных для того, чтобы справляться с текущими вызовами? Какие технологии и инструменты подойдут для проектирования архитектуры больших данных?
Активная цифровизация всех сфер жизни в стране приводит к беспрецедентному росту объемов информации. В ситуации импортозамещения компаниям необходимы эффективные инструменты для работы с большим данными, доступные в России. Вячеслав Максимов, ведущий инженер по программному обеспечению Auto1 Group, имеет опыт разработки в таких проектах, как «Госуслуги», «Азбука вкуса», «М.Видео», а также руководства командой разработки подразделения «Цифровое образование» «Вконтакте», анализирует ситуацию на отечественном рынке в 2024 году и рассказывает, как обеспечить высокую производительность и масштабируемость ПО предприятий и организаций при работе с большими данными.
С какими вызовами сталкивается российский бизнес с точки зрения обработки данных
Одна из ключевых задач бизнеса сегодня – необходимость высокой скорости работы с большим объемом данных. Специальное ПО особенно значимо в финансовой сфере, ретейле, телекоммуникациях, производстве, здравоохранении, государственном управлении и энергетике. Анализ больших объемов данных и применения инновационных алгоритмов обеспечивает компаниям конкурентные преимущества.
Организациям и предприятиям необходимо обеспечивать гибкость и способность своих систем к расширению. Кроме того, компании должны уметь работать с различными типами и форматами данных: получать их из множества источников и объединять для выстраивания целостной картины бизнес-процессов. Существенную роль также играют обеспечение безопасности и защита персональных данных. Российское законодательство в этом вопросе очень строгое: информационные системы обязаны соответствовать требованиям по локализации и трансграничной передаче данных и новым изменениям по хранению доказательств удаления персональных данных в течение трех лет. В связи с этим компании нуждаются в особых механизмах защиты информации, специальных подходах к ее хранению и обработке, а также к построению инфраструктуры ПО.
Помимо этого, отечественному рынку нужно адаптироваться к уходу части иностранных ИТ-поставщиков из России. Отзыв лицензий западными вендорами – Teradata, Oracle, SAP и другими – вынудил многие компании к экстренной замене их продуктов. Больше половины российских организаций лишились технической поддержки. Компании, работающие с открытым ПО или облачными решениями, пострадали меньше, так как смогли продолжить использовать свои стеки, в отличие организаций, которые вынуждены переходить на новые решения или решать проблемы с инфраструктурой.
Власти России начали процесс импортозамещения в ИТ-сфере еще в 2015-2016 годах. Эта длительная и многоступенчатая процедура изменений в законодательстве направлена на использование российского ПО и оборудования, особенно в государственном секторе. В марте 2022 года вышел указ президента о запрете использования иностранного ПО на объектах критической информационной инфраструктуры. Госкорпорации и компании с госучастием должны перейти на отечественный софт к 2025 году.
Как создать эффективную систему ПО для обработки больших данных
Для того чтобы успешно работать с большими данными, нужно спроектировать комплексную структуру эффективного управления, хранения и анализа больших объемов сложной информации, то есть выстроить ее архитектуру. Жизненно важными для выстраивания архитектуры больших данных являются системы ПО для сбора, хранения, обработки, защиты, интеграции и преобразования, а также анализа и визуализации информации.
Какой должна быть архитектура системы больших данных для того, чтобы справляться с текущими вызовами
- Для соблюдения законодательства о защите данных рекомендуется использовать решения, которые позволяют хранить данные внутри страны. Или в соответствии с требованиями организаций, предоставляющих облачные услуги, строить собственные дата-центры на территории России.
- Важно иметь механизмы резервного копирования и восстановления данных на случай сбоев или атак. Дополнительно следует использовать технологии репликации информации.
- Архитектура ПО должна учитывать особенности бизнес-процессов...