User Agent (юзер-агент) — это любое программное обеспечение, обеспечивающее взаимодействие между конечным пользователем и веб-контентом. Когда браузер взаимодействует с веб-сайтом, у него есть отдельное поле User Agent в заголовке HTTP. Содержимое поля User Agent представляет браузер серверу, поэтому оно уникально для каждого веб-браузера.
Когда дело доходит до парсинга, бизнес-профессионалы используют “ротация user agent”, что означает изменение вашего user agent в соответствии с вашими требованиями. Существует множество user agents, и каждый агент передает разные сообщения браузеру веб-сайта, который вы собираетесь парсить. Подробнее читайте в Блоге для программистов.
