Проблемы миграции данных
Успех проекта по миграции данных будет во многом зависеть от уровня понимания процесса и его последствий. Знание проблем, связанных с такой инициативой, является первым шагом. Среди наиболее важных являются следующие:
Миграция хранилища: в таком проекте не должно быть проблем, если приложение использует только общие интерфейсы для доступа к данным. В большинстве систем это не является недостатком, хотя, когда дело доходит до старых приложений, работающих на проприетарных системах, это может быть. В этом случае инициатива будет усложнена, и необходимо будет провести необходимые испытания, прежде чем выпускать решение в производство. В основном по двум причинам:
Исходный код приложения может быть недоступен.
Может случиться так, что поставщик приложения не будет продолжать работать на рынке.
Миграция базы данных: это один из самых простых способов перемещения данных, если database используется в качестве хранилища. Однако, несмотря на кажущуюся простоту процесса, могут возникнуть неудачи, связанные с:
Несовпадающие типы данных (дата, число, суб-записи): в этом случае необходимо будет работать над сохранением целостности данных, при этом может потребоваться руководство по изменению некоторых приложений, использующих базу данных.
Различные наборы символов (разные кодировки в каждом столбце для одной и той же таблицы): когда это произойдет, необходимо тщательно проверить приложения, которые U
tilizing базу данных.
Инструменты ETL хорошо подходят для переноса данных из одной базы данных в другую, поскольку их использование еще более целесообразно в проектах, где существует мало связей между источником и пунктом назначения.
В тех случаях, когда база данных, помимо выполнения функции хранения данных, также представляет бизнес-логику в виде хранимых процедур и триггеров, наиболее подходящим действием может быть технико-экономическое обоснование миграции в целевую базу данных. Таким образом, если будет доказано, что целевая база не поддерживает некоторые функции, все равно будет время для развертывания изменений в приложениях или промежуточном программном обеспечении.
Перенос приложений: при столкновении с такой инициативой необходимо использовать полный процесс ETL. Это связано с тем, что даже когда приложения разработаны одним и тем же поставщиком, они хранят данные в значительно разных форматах и структурах. Эта особенность усложняет передачу данных. Например, шаг преобразования является одним из основных недостатков, и, хотя опора на инструмент ETL дает преимущество его подключения, что делает его готовым к использованию с разрозненными источниками и целями данных; трудности могут возникнуть при переносе данных из мэйнфреймов или приложений с использованием определенных форм хранения данных, поскольку:
Системы мэйнфреймов используют форматы на основе журналов для хранения данных, которые, хотя и просты в управлении, обычно включают оптимизацию.
Оптимизация включает хранение двоичных кодированных десятичных чисел, нестандартное хранение значений положительных / отрицательных чисел или хранение взаимоисключающих индексов в регистре. То есть аспекты, которые усложняют миграцию данных.
Таким образом, можно было бы выполнить извлечение в самой исходной системе, а затем преобразовать данные в печатный формат, который можно было бы проанализировать позже с помощью стандартных инструментов.
Кодировка символов: в этом случае сложность заключается в том, что большинство систем, разработанных на платформе на базе ПК, используют кодировку ASCII. Однако системы мэйнфреймов в основном основаны на кодировке EBCDIC, которая несовместима с ASCII, и преобразование необходимо для отображения данных. Чтобы преодолеть эту проблему, вы должны предусмотреть при выборе инструментов ETL, которые должны поддерживать преобразования между наборами символов, включая EBCDIC.
