15 подписчиков
Парсинг данных с современных сайтов стал сложной задачей из-за множества защит от ботов. Эти системы блокируют запросы, если улавливают малейшие признаки автоматизации. Как же быть, если вам нужно обойти сложную антибот-защиту?
Мы в Parsing Master использовали Puppeteer Stealth для имитации действий настоящего пользователя. Однако в одном из недавних проектов мы столкнулись с сайтами с очень продвинутыми защитами, и простого использования Puppeteer оказалось недостаточно. Тогда наша команда предложила ряд доработок, которые позволили сделать автоматизацию ещё более "незаметной". Мы внесли изменения в свойства WebDriver, userAgent и userAgentData, чтобы бот выглядел как настоящий пользователь.
Подробнее кейс читайте на нашем сайте
Около минуты
24 сентября 2024