Птицы слетаются к подобным себе, и истина обращается к тем, которые упражняются в ней.
Книга премудрости Иисуса, сына Сирахова
Уж простите, но статья начата лирической цитатой.
В течении примерно полу-года мне пришлось разрабатывать обработку для загрузки данных в 1С. Изначально постановка задачи от функционального архитектора звучала просто. Был необходим инструмент чтобы осуществить миграцию НСИ (складов, номенклатуры, серий) и начальных остатоков на проекте импортозамещения с ERP Oracle на 1C:ERP Управление предприятием. И задача выглядела на 1-2 недели работы. Однако, в процессе всплыло множество нюансов, о которых в первоначальном техническом задании не было ни слова. Как позже выяснилось бизнес-заказчики не могли сходу обозначить все требования.
Требования к миграции данных 1С
Во-первых, предполагалась миграция большого объема данных. Порядка 500 тыс позиций номенклатуры, упаковки номенклатуры, складов около 300 штук, складские ячейки, более 3 млн серий. Причем были различные виды складов в которых различались политики именования складских ячеек, ордерные, не ордерные. Технически исходные данные были в csv файлах и необходимо было написать обработку 1С, чтобы это все дело загрузить в целевую систему 1С.
Во-вторых, в процессе разработки заказчик все время присылал новые требования по формату загрузки, менялся формат исходных данных. Если изначально требовалось грузить только остатки по складам, то впоследствии добавились ТМЦ в эксплуатации
В-третьих, произодительность сервера 1С в контуре разработки оставляла желать лучшего. Причем это был крупный заказчик — я был очень удивлен, что жалели денег на хорошее серверное оборудование.
В-четвертых, окончательная миграция на продуктовом контуре должна была быть выполнена в короткое технологическое окно. Конкретно в выходные субботу и воскресенье. Может показаться, что технологическое окно довольно широкое, но для тех серверных мощностей было не достаточно времени. Поэтому уложиться в сроки было сложно.
Состав мигрируемых данных:
- Подразделения
- Склады
- Складские ячейки
- Номенклатура
- Упаковки номенклатуры
- Серии номенклатуры
Процесс разработки и миграция
Итак, чтобы уложиться в сроки, пришлось разработать многопоточную загрузку используя фоновые задания 1С. Менеджер фоновых заданий из модуля «Длительные операции» не подошел — был разработан самостоятельно более простой. Все это дело пришлось долго отлаживать, на неповоротливом сервере. Сам код осуществляющий миграцию стал неповоротливым, так как вносили изменения несколько разработчиков 1С.
Задача, которая выглядела на 1-2 недели, растянулась на 6 месяцев. Разумеется не все 6 месяцев я занимался только этой разработкой. Но было потрачено уйма времени. Много раз тестировали на контуре разработки, потом тестировали на предпроде. Замечания возвращались на доработку, а вместе с замечаниями и новые требования.
И вот настал день Х. Мы грузили остатки уже в продуктовой базе 1С. Я в этот момент находился Севастополе и в кофейне с видом на бухту с ноутбуком отвечал на вопросы сотрудника, который по инструкции запускал обработку 1С. Доступов к продуктивному контуру у меня не было от слова совсем. Обработка несколько раз вылетала, потому что на продуктовом сервере было включено несколько ESB шин, среди которых КШД — корпоративная шина данных и Datareon. Позже на время загрузки группа эксплуатации все-таки додумалась их выключить.
По итогу все загрузили и поздравили друг друга.
Ретроспектива
Так причем же здесь Datareon?
Где-то через год у меня было собеседование на новый проект на позицию Эксперта по интеграциям 1С. Важное требование заказчика на эту позицию было — практические знания шины Datareon. К сожалению у меня такого опыта не было, поэтому в срочном порядке побежал подтягивать матчать. Просмотрел несколько видео-демостраций Datareon Platform и самопроизвольно провел ретроспективу ранее описанных работ по миграции данных. Используя шину Datareon я бы мог напрямую подключиться к Oracle (без промежуточных csv файлов), написать обработчики миграции 1С в Datareon. Не пришлось бы отлаживать потоки в 1С. Миграция данных проходила бы более управляемо.
По моим субъективным ощущениям с Datareon, можно было бы сэкономить 1-2 месяца работы разработчика 1С. Конечно были бы сложности с согласованием доступов к Datareon, но это уже другая история.
Резюме
Порой мы являемся заложниками ситуаций. Нам не достает знаний, смелости влиять на ситуацию, проактивности. И руки опускаются. Но ни для кого не секрет, что благодаря бесконечным попыткам мы приходим к результатам и формируем свой экспертный взгляд.