1 год назад
Как спарсить сайт с помощью SiteAnalyzer, если он защищен CDN Cloudflare от сканирования ботами?
Это возможно. Что для этого понадобится? 1. Терпение. Такие сайты будут долго сканироваться. 2. Google Chrome и владение пользованием Dev Tools. 3. Понимание, что такое HTTP заголовки, Cookies и параллельные треды HTTP запросов. В чем проблема? Cloudflare позволяет настраивать сайтам защиту от ботов, что мешает анализировать эти сайты разным SEO-тулзам. Особенно это касается тулов, не уважающих robots.txt, или сами боты малоизвестны. Например, условный Ahrefs или SemRush может иметь доступ к контенту сайта, но условный Serpstat увидит только 403 кода статуса (в доступе запрещен)...