Как перенести данные и минимизировать риски их потери? В чем сложности миграции данных между облачными и локальными платформами?
Сегодня, когда технологии развиваются с невероятной скоростью, а бизнес требует все большей гибкости и адаптивности, вопросы интеграции и безопасного переноса данных становятся ключевыми для успешного функционирования предприятий.
О сложностях интеграции систем с открытым и закрытым исходным кодом, методах минимизации рисков потери данных при переносе между платформами и тонкостях миграции данных между облачной и локальной средой, рассказывают Сергей Прорубщиков, исполнительный директор «Интегро Текнолоджиз», и Дмитрий Ларичев, руководитель Департамента управления данными ТПХ «Русклимат».
Какие технические препятствия чаще всего возникают при интеграции систем с открытым и закрытым исходным кодом?
Сергей Прорубщиков: Их несколько. Во-первых, для любых систем может возникнуть проблема отсутствия или недостаточности стандартных интерфейсов для взаимодействия, таких как публичные API на актуальных технологиях, например, Web-Services или REST. Это затрудняет доступ к данным. Во-вторых, часто отсутствует актуальная документация, что особенно критично для систем с закрытым исходным кодом. Для систем с открытым кодом хотя и можно потратить время на его изучение, это также становится определенным препятствием. Кроме того, для закрытых систем особенно ощутимо отсутствие знающих специалистов или разработчиков, которые могли бы консультировать по вопросам устройства системы. Эти препятствия могут быть преодолены за счет дополнительных усилий в исследованиях и разработке. Однако не в каждом проекте отведено достаточно времени и ресурсов для выполнения этих работ, что добавляет сложности в процесс интеграции.
Дмитрий Ларичев: Основным техническим препятствием при интеграции систем с отрытым и закрытым исходным кодом может стать необходимость реализации индивидуальных заказных доработок «фирменного» программного обеспечения со стороны правообладателя. При этом могут возникать ситуации, когда требуемая для интеграции доработка либо физически не реализуема, либо стоимость и сроки ее проведения выходят за рамки бюджета и сроки проекта по интеграции.
Как правильно оценить и минимизировать риски потери данных при переносе между платформами?
С.П.: Оценка рисков базируется на требованиях к надежности информационного обмена между системами (платформами). Бывают разные бизнес-ситуации: в одних потери данных допустимы, в других приведут к остановке производственных процессов. Таким образом, отталкиваться следует от требований бизнеса и автоматизируемых процессов.
Для минимизации рисков при обмене данными между системами или между системами и промежуточным программным обеспечением, таким как интеграционный брокер, необходимо использовать стандартные подходы. Важно обеспечить наличие транзакций: в процессе обмена обе системы, передающая и принимающая, должны подтверждать успешность передачи и приема данных. Если используется промежуточное ПО, например интеграционный брокер или интеграционная шина, необходимо сохранять данные после их получения от передающей системы и удалять их только после успешной передачи получателю, что обеспечивает персистентность данных на промежуточном уровне. Кроме того, следует применять резервирование всех элементов тракта передачи данных, применяя методы кластеризации и другие подходы, гарантирующие отказоустойчивость на уровне, достаточном для соответствия требованиям бизнеса к гарантированной доставке данных. И конечно, нужно соблюдать баланс между сложностью и надежностью, так как при увеличении сложности надежность, как правило, уменьшается.
Д.Л.: Чтобы правильно оценить и минимизировать риски потери данных при их переносе между платформами, важно разработать тщательный план миграции данных. Этот план должен включать несколько ключевых этапов.
Первым шагом является проведение аудита и профилирования переносимых данных. Цель этого этапа — сопоставить схемы данных в исходной и целевой системах, изучить и очистить весь объем переносимой информации для выявления и устранения проблем с ее качеством.
Затем следует уточнение объема данных, которые будут перенесены из исходной в целевую систему. Цель такого шага — исключить избыточные данные и определить их минимально необходимый объем для эффективной работы целевой системы.
Третий этап — согласование плана переноса данных. Здесь выделяются необходимые...
