Программа Screaming Frog помогает решить множество задач для SEO, однако в некоторых случаях ее работа может быть затруднена. К примеру, на сайте стоит блокировка на определенный User Agent, поэтому сделать парсинг не получается либо же сайт скрывает от пользователей данные, которые он передает поисковым роботам. Впрочем, и в самой программе можно попробовать обойти этот запрет следующим образом.
Видеоинструкция
Как изменить User Agent в Screaming Frog Seo Spider
Открываем Screaming Frog, нажимаем кнопку Upload в верхней части и далее переходим на ручную загрузку (Enter Manually).
В открывшееся окно вводим URL-адрес, который нас интересует.
Если в результатах парсинга стоят нули и стоит ошибка сканирования (пример код 609), значит, сайт не отдал никаких данных, и необходимо сменить User Agent.
Для этого переходим в меню Configuration и выбираем User Agent из выпадающего списка.
Нажав на верхнюю строчку в открывшемся окне, мы увидим список доступных ботов – Google-бот, Яндекс-бот и так далее.
Выбираем нужного (или рандомного) бота из списка – данные HTTP-запроса в строке ниже изменятся автоматически. Подтверждаем выбор.
Далее снова пробуем парсить сайт с новым User Agent через Upload и ручную загрузку.
Как правило, в этом случае из системы получается вытащить данные, которые обычно доступны для Google-бота. При этом мета-теги для посетителей сайта и для роботов могут отличаться.
При необходимости вы можете попробовать любые другие боты из предложенных программой Screaming Frog для более качественного и беспроблемного парсинга.