Страница управления состоит 3 частей:
Дерево ресурсов.
Cлева находится древовидное представления вашего персонального набора пула сайтов, среди которых можно выбрать ресурс, откуда необходимо спарсить данные.
Настройки конфигурации.
Для каждого сайта в дереве пишется отдельный скрипт, который программно собирает данные с сайта. Также для каждого сайта создается компонент настроек конфигурации данных, чтобы пользователь мог отобрать только необходимые данные. Например, если мы парсим каталог шин, то нет нобходимости парсить каждый день технические характеристики шин - они не изменяются со временем, но есть смысл получать ежедневную выгрузку с информацией о цене, рейтинге продукта, количестве отзывов и тд.
Кроме того можно выбрать только определенный каталог, что во-первых позволяет избежать парсинг ненужных данных, а также позволяет разбить парсинг сайта на несколько параллельных процессов, что ускорит сбор данных.
Настройка выгрузки и запуск.
Справа находится настройка выгрузки, где необоходимо ввести название процесса, формат выгрузки, папку сохранения, название создаваемого файла.
В случае, если в одном процессе парсится больше одного каталога, то выгрузку можно разбить по принципу "один каталог-один файл".
Телеграм канал: t.me/sapsan_parser