Наверное, каждый знает, что сайты и сервисы собирают информацию о пользователях для собственных целей. User Agent - строка, которая содержит информацию о версии операционной системы, браузере и его особых функциях, а также об устройстве, с которого пользователь посещает сайт. Сайты собирают эти сведения для корректного отображения страницы и её содержимого. Раньше, сайты создавались с учётом особенностей разных браузеров, поэтому пользователи изменяли Юзерагент, чтобы просматривать страницы сайтов в том виде, который им нужен...

Программа Screaming Frog помогает решить множество задач для SEO, однако в некоторых случаях ее работа может быть затруднена. К примеру, на сайте стоит блокировка на определенный User Agent, поэтому сделать парсинг не получается либо же сайт скрывает от пользователей данные, которые он передает поисковым роботам. Впрочем, и в самой программе можно попробовать обойти этот запрет следующим образом. Видеоинструкция Как изменить User Agent в Screaming Frog Seo Spider Открываем Screaming Frog, нажимаем кнопку Upload в верхней части и далее переходим на ручную загрузку (Enter Manually)...