Парсинг данных через сервис может потребоваться в самых разных случаях – в том числе и когда нам требуется проанализировать или проработать какую-то конкретную информацию на сайте.
Разберем это на примере парсинга по категориям и изображениям через сервис Screaming Frog.
Видеоинструкция
Как парсить любой элемент в Screaming Frog Seo Spider
Кликаем на изображение правой клавишей мыши и выбираем пункт «Просмотреть код» в выпадающем меню.
Находим адрес изображения и копируем его, выбирая пункты Copy, а затем Copy full XPath в выпадающем списке.
Переходим в Screaming Frog. Выбираем в верхнем меню пункт Configuration, затем, в выпадающем списке, кликаем по пункту Custom и далее – Extraction («Выгрузка данных»).
В открывшемся окне нажимаем на Add в правом нижнем углу.
В левой верхней строчке с надписью Extractor 1 вводим название раздела для сбора данных. Присвоить можно любое.
Выбираем тип выгрузки XPath в списке рядом.
Копируем адрес XPath в строчку справа от него.
В следующем выпадающем списке выбираем Extract HTML Element и нажимаем OK.
Пример настройки.
Возвращаемся в Screaming frog и выбираем в меню пункт «Mode»-«List».
Затем нажимаем кнопку Upload вверху и загружаем скопированные нами URL.
Когда парсинг завершится, переходим в меню Overview справа и ищем в списке раздел Custom Extraction.
Если все сработало верно, в разделе появится пункт с нашим названием раздела и количество собранных элементов. В основном окне будет отображаться список URL и адреса всех изображений, которые сервис обнаружил по заданным нами параметрам.
После этого можно удалить теги и все лишнее – и останется только список адресов нужных нам фото.
Алгоритм парсинга по категориям будет такой же. Таким же образом вы можете парсить любые нужные вам данные, включая цены, наименования, характеристики, описания и так далее.
Источник: https://seopulses.ru/kak-parsit-lyubye-dannye-sajta-s-pomoshchyu-servisa-screaming-frog-seo-spider/