Если совсем упростить определение термина “Парсинг”, то это будет звучать так: это сбор данных с wed-ресурса, структуризация их и выдача в виде отчета определенной формы.
Если есть человек который регулярно просматривает информацию и собирает ее в условную таблицу-отчет то полученный результат мы тоже можем назвать парсингом, но подобный метод мониторинга уже сильно устарел и его нельзя рассмотреть в рамках этого термина. Для современного интернет маркетинга требуется большой объем информации, который надо собирать не только от своего сайта. Поэтому необходимо добавить то, что парсинг - это автоматизированный сбор данных.
Определимся также с понятием “Парсер” - это программа, которая осуществляет сбор данных с определенного ресурса. Если этим ресурсом будет являться сайт, то такая программа будет называться парсер сайта.
С основными понятиями мы разобрались и теперь подробно разберем этот продукт и зачем он нужен каждому интернет-маркетологу.
Какой парсинг бывает.
Основное разделение типов парсинга основывается на тех данных которые собирает и на целях. Мы можем условно разделить на 2 большие группы: парсинг для маркетинговых целей и парсинг для технических целей.
В маркетинге парсинг помогает выполнять сразу множество функций и вот некоторые из:
- Если вы только запускаете свой интернет магазин, вы можете при помощи парсинга собрать данные о товарах с сайтов ваших поставщиков: название товара, артикул, описание, цены - и выгрузить их себе на сайт. Это поможет вам быстрее запустить свой сайт и не тратить время на рутинную работу по заполнению карточек товаров вручную.
- Вы сможете проводить анализ структуры сайта у конкурентов. Такая информация поможет вам вносить улучшение в струтуру уже вашего сайта.
- Сможете получать информацию о ценах и ассортименте своих конкурентов, а также в случае парсинга с маркетплейсов еще и найти этих самых конкурентов.
- Для производителя товаров парсинг может стать удобным инструментом для контроля МРЦ/РРЦ у своих ритейлеров.
Все это поможет в развитии вашего бизнеса увеличению количества продаж и т.д.
Технический парсинг, который чаще всего применяется SEO специалистами для выявления проблем в работе сайта. Такой парсинг может выявить ряд недочетов и на основе его специалист сможет составить техническое задание по исправлению.
- Можно выявить проблемы в мета-тегами (Description , заголовки h1 и т.д.) - это, например, дублирование этих заголовков.
- Проверить микроразметку на сайте
- Обнаружить дубли страниц или нежелательные для индексации страницы
и многие другие технические задачи.
Законно ли парсить сайты?
Парсинг может собрать любую информацию которая содержится в коде страницы и возникает вопрос о законности данных программ. Сразу скажем что есть ограничения которые необходимо соблюдать, но сам парсинг информации со страниц сайта не противоречит закону если осуществляется легальными способами.
Вот какие ограничения существуют:
- Запрещается парсить информацию с закрытых сайтов или информацию не находящуюся в открытом доступе.
- Запрещен сбор данных которые защищены авторскими правами.
- Запрещен сбор данных при помощи парсера который нарушает работу сайта (приводит к сбоям).
Для того чтобы быть уверенными в законности парсинга стоит выбирать для этих целей только официальные сервисы парсинга. Также не стоит пренебрегать консультацией с юристом, когда вы планируете мониторинг обширной и разнообразной информации.
Принцип работы парсинга.
Есть три основных этапа работы парсинга:
- Поиск искомых данных в источнике - коде страницы,
- Извлечение данных из исходного кода,
- Формирование отчета по заданным требованиям.
Можно описать этот процесс таким образом: алгоритм парсинга переходит по указанному url, сканирует код страницы, находить нужные данные и извлекает их и собирает отчет.
Алгоритмы парсинга способны собрать за короткое время большой массив данных.
В чем и состоит их основное преимущество перед работой человека.
В основном парсеры используют в своей работе XPath-запросы. При помощи этих запросов они извлекают искомую информацию из нужного участка кода страницы.
Какие есть инструменты для парсинга.
Самым простым инструментом, которым вы сможете воспользоваться для парсинга с web ресурсов это Google Spreadsheet. Этот сервис имеет ряд команд которые могут собирать некоторые данные по ссылкам.
“=IMPORTHTML” - может импортировать списки или таблицы со страницы указанной по ссылке. Для этот в ячейку надо прописать следующие данные:
“=IMPORTXML” - данная команда обрабатывает XPath-запросы, с ее помощью возможно собрать практически любую информацию со страницы, импортирует данные в различных форматах: HTML, TSV, XML, CSV, RSS, и т.д. В запрос можно поместить данные XPath того элемента который вам необходимо извлечь из кода страницы.
Запрос “h1” даст соответствующий заголовок на странице. Такие запросы вы можете скопировать напрямую из кода при помощи набора инструментов Chrome Devtools.
И поместить скопированную информацию на место XPath-запроса.
=REGEXEXTRACT - для использования данной команды необходимо занить принцип построения регулярных выражений, но с ее помощью можно собирать, например, отдельные участки текста.
Сервис ALL Rival - это онлайн сервис предназначенный для мониторинга цен и иной информации с web-ресурсов. Данный парсер по указанным вами URL собирает нужную вам информацию сопоставляет ее и формирует в отчет. Товары для сравнения можно импортировать как файлом-выгрузки так и указанием URL с вашего сайта, возможна настройка автоматизации импорта на некоторых тарифах. Сбор происходит автоматически, частоту сбора можно выбрать в настройках.
Встроена аналитика полученных данных, настраиваемые отчеты. Есть возможность интеграции через API. Также доступны функции мониторинга наличия товаров, мониторинга МРЦ/РРЦ, создание стратегии ценообразования. Множество возможностей для кастомизации парсера.
Бесплатный тариф с неограниченным сроком использования, правда допускает не более 7000 проверок на месяц и некоторые функции недоступны.
Есть Chrome-расширение для добавления url-товаров сразу с сайта в ЛК.
Следующим примером который мы разберем будет ComparseR - инструмент предназначен для анализа индексации сайта.
Если коротко данный парсер сравнивает страницы вашего сайта с тем какие страницы индексируются поисковиком.
Он помогает выявить проблемные страницы - например те на которых нет ссылок на сайте.
Является десктопной программой, имеет достаточно низкие технические требования, что дает возможность установки практически на любые компьютеры.
На официальном сайте имеется демо-версия программы, без ограничений по времени использования, с помощью которой можно ознакомится с функционалом. С помощью этой версии можно парсить сайты до 150 страниц и 150 страниц выдачи.
Из минусов демо-версия не имеет самообновления.
Netpeak Spider - десктоп-инструмент для SEO-аудита. Удобна для быстрого поиска ошибок. Используется для настройки и парсинга любых данных в HTML. Возможно проверять уже большие сайты. При проверке программа учитывает несколько десятков SEO параметров и ключевых внутренних ошибок оптимизации и анализирует критичность найденных ошибок.
На данный момент доступ из РФ ограничен, необходим VPN.
Еще один инструмент для парсинга сайтов - Screaming Frog SEO Spider. Имеет широкий функционал. Позволяет также парсить любые HTML-данные, предусмотрена возможность настройки расписания парсинга. Также подразумевается возможность подключения через API сторонних сервисов например Google Analytics или Majestic и т.д.
Но данная программа требовательна к техническим характеристикам компьютера - а именно к объему оперативной памяти, также для ее использования требуется знание JAVA и в отличии от вышеописанных инструментов интерфейс не русифицирован.