Цель данной статьи — рассмотреть основные этапы работы с первичными данными при переходе на новую систему на платформе 1С:Предприятие 8: анализ исходных данных, их выгрузку, преобразование и загрузку в новую ИС. Материал будет полезен специалистам, участвующим во внедрении и сопровождении корпоративных информационных систем на платформе 1С.
Рано или поздно большинству компаний приходится сталкиваться с необходимостью модернизации или обновления программного обеспечения для автоматизации своих бизнес-процессов. Поэтому переход на новые информационные системы (ИС) — неизбежный и зачастую болезненный процесс.
В целом внедрение новой ИС часто сопряжено со значительными трудностями. Одним из ключевых и самых трудоемких этапов является перенос накопленных за годы работы первичных данных из старой системы в новую. Это связано с рядом факторов:
- Зачастую структура хранения данных в старых системах сильно отличается от современных решений.
- Старые системы могут содержать значительные объемы «исторических» данных, часть из которых уже неактуальна.
- Данные могут быть неполными, «грязными», содержать много дублей и противоречий.
Все эти факторы серьезно усложняют процесс подготовки, нормализации и переноса данных в новую систему с минимальными потерями и искажениями.
Подготовка к выгрузке данных из старой системы
Шаг 1
Первым этапом при подготовке к переносу данных является детальный анализ структуры базы старой ИС и выявление всех необходимых для дальнейшей работы сущностей.
К сожалению, зачастую у организаций отсутствует актуальная и полная документация по базам данных устаревших ИС. В таких случаях приходится восстанавливать структуру «вручную» путем изучения самих баз через имеющиеся средства администрирования. Это довольно трудоемкий процесс.
На этом этапе важно выявить:
- все основные справочники и документы учета;
- взаимосвязи между объектами;
- ключевые реквизиты, по которым ведется учет.
Шаг 2
Далее необходимо оценить полноту и целостность критически важных данных: наличие первичных ключей, соответствия связанных документов и т.д. Это поможет на последующих этапах выявить проблемные места и скорректировать алгоритмы преобразования.
Шаг 3
Еще одним важным шагом является по возможности нормализация структуры данных непосредственно в старой системе путем устранения дублей, приведения справочников к единым форматам и т.д. Это значительно облегчит дальнейшую работу с данными.
Процедура нормализации данных в старой системе перед выгрузкой может включать следующие основные этапы:
- Устранение дублей записей. Необходимо провести анализ справочников и документов, выявить дублирующиеся записи (ссылки на один и тот же объект). Дубли следует объединить в одну запись, сохранив все ценные атрибуты.
- Стандартизация кодов и наименований. Привести коды и наименования объектов к единому стандарту для облегчения дальнейшей обработки. Например, унифицировать названия контрагентов, товаров, складов и т.д.
- Верификация и корректировка данных. Найти и исправить некорректные, неполные или недостоверные данные, например, номера телефонов, ИНН, адреса и т.п. Заполнить пропущенные обязательные реквизиты.
- Структурирование и нормализация полей. Разделить составные атрибуты на отдельные составляющие. Например, разбить ФИО на отдельные поля или выделить из полного адреса отдельно улицу, дом, город и индекс.
- Проверка и корректировка взаимосвязей. Проверить и при необходимости восстановить ссылочную целостность данных, чтобы при выгрузке не потерять важные связи между объектами.
Такая предварительная нормализация позволит существенно упростить и ускорить дальнейшее преобразование данных уже после выгрузки в процессе внедрения новой ИС.
Таким образом, на этапе подготовки к выгрузке происходит первичное «оздоровление» данных и оптимизация их структуры, что важно для последующей успешной миграции в новую ИС.
Выгрузка данных
После подготовительного этапа можно приступать непосредственно к выгрузке данных из старой системы. На данном этапе важно выбрать оптимальные инструменты для извлечения данных. Чаще всего это:
- встроенные в ИС средства выгрузки в универсальные форматы (XML, DBF и др.);
- скрипты для прямого экспорта данных в SQL-базы;
- специальные утилиты-конверторы сторонних разработчиков.
Необходимо тщательно протестировать работу выбранных инструментов с реальными данными на копии базы, оценить корректность выгрузки всех ключевых объектов.
Сложность может представлять выгрузка больших объемов исторической информации (например, полных архивов документов). Здесь оптимальным решением может стать поэтапная выборочная выгрузка только необходимых данных.
После окончания процесса выгрузки также важен первичный контроль качества полученных данных: проверка соответствия объемов, корректность связей, выборочное сравнение с данными в источнике. Это позволит своевременно обнаружить и исправить возможные сбои и ошибки.
Таким образом, качественно реализованный процесс выгрузки — залог успешной подготовки данных для последующей миграции на новую платформу.
Подготовка данных для загрузки в новую систему
На этом этапе происходит непосредственная подготовка выгруженных данных для импорта в новую систему на платформе 1С:Предприятие 8. Прежде всего необходим тщательный анализ структуры базы данных и требований к информации в новой ИС:
- определение объектов, их реквизитов и взаимосвязей;
- выявление обязательных и необязательных полей;
- анализ форматов данных, которые поддерживает система.
На основе этих данных формируются преобразователи, позволяющие адаптировать выгруженную информацию из старой ИС к стандартам новой платформы. Типовыми видами работ являются:
- дополнительная нормализация (очистка, структурирование);
- приведение данных к единым справочникам;
- конвертация форматов информации.
Также на данном этапе целесообразно разделить всю совокупность подготовленных данных на отдельные пакеты, удобные для поэтапной загрузки и тестирования в новой ИС. Качественно выполненное преобразование данных позволит в дальнейшем беспрепятственно импортировать их в процессе внедрения системы на 1С:Предприятие 8.
Загрузка данных в новую систему
Непосредственная загрузка подготовленных данных в новую информационную систему на платформе 1С:Предприятие 8 также требует детального планирования и поэтапного проведения. Прежде всего, необходимо на тестовом контуре отработать технологию и инструменты импорта информации в соответствии с рекомендациями разработчика системы.
Далее наступает этап непосредственной загрузки разделенных ранее на пакеты данных в базу новой ИС. При этом важно следовать следующим правилам:
- начинать импорт с базовых справочников;
- далее выполнять загрузку остатков и первичных документов;
- и только потом импортировать рассчитанные документы и отчетность.
Такой порядок позволит избежать логических ошибок и нарушений взаимосвязей между данными.
После завершения каждого этапа загрузки надлежит тщательно контролировать корректность и полноту данных в системе. Это поможет своевременно обнаружить и устранить возможные несоответствия и проблемы конвертации данных из старой ИС.
Таким образом соблюдение описанных рекомендаций позволит максимально эффективно и качественно выполнить процесс миграции накопленных данных в внедряемую систему на 1С:Предприятие 8.
Тестирование новой системы с загруженными данными
После завершения загрузки данных необходим этап углубленного тестирования работы новой ИС с реальной информацией, перенесенной из прежней системы.
На данном этапе проводятся:
- Функциональное тестирование — проверка корректности работы всех ключевых бизнес-процессов, отчетов и аналитики с импортированными данными. Выявляются возможные логические ошибки, некорректные расчеты, обработка данных и т.п.
- Нагрузочное тестирование (при необходимости) — имитация одновременной работы с системой значительного числа пользователей для оценки производительности и стабильности ИС. Позволяет выявить узкие места архитектуры, неоптимальные запросы и структуры данных.
На основе результатов тестирования дорабатывается конфигурация системы, оптимизируются механизмы обработки данных, устраняются выявленные недочеты.
Таким образом, качественное тестирование позволяет подтвердить готовность внедренной ИС к промышленной эксплуатации с имеющимся объемом первичных данных, перенесенных из старой системы.
Выводы
Подводя итог, отмечу основные сложности при подготовке и переносе накопленных данных в новую информационную систему на 1С:Предприятие 8:
- Отсутствие актуальной документации к устаревшей ИС, сложность анализа структуры баз данных.
- Большие накопленные объемы разнородной информации в старых системах со временем эксплуатации.
- Различие форматов, структур данных и систем кодировки в старых и новых платформах.
- Сложность контроля качества и полноты перенесенных данных.
Для минимизации этих рисков можно рекомендовать:
- На этапе обследования максимально полно документировать структуры данных.
- Выполнять поэтапную очистку, нормализацию и валидацию данных.
- Использовать гибкие инструменты доработки и миграции данных.
- Автоматизировать контроль преобразованных данных.
Грамотное следование рассмотренным в статье практикам позволит оптимизировать один из наиболее трудоемких этапов внедрения новой ИС — перенос первичных данных, собранных за все время работы организации.
Полезные инструменты
Перечень и примеры возможных таблиц для приложения к статье о миграции данных:
Автор: Виталий Тупицын, руководитель департамента разработки
Если материал понравился — ставьте палец вверх и подписывайтесь на канал, чтобы не пропустить другой интересный и полезный контент 👍
Контакты:
Адрес для связи по вопросам прохождения курсов, стажировки или трудоустройства: ProIT@1cbit.ru 📬
