Это возможно. Что для этого понадобится? 1. Терпение. Такие сайты будут долго сканироваться. 2. Google Chrome и владение пользованием Dev Tools. 3. Понимание, что такое HTTP заголовки, Cookies и параллельные треды HTTP запросов. В чем проблема? Cloudflare позволяет настраивать сайтам защиту от ботов, что мешает анализировать эти сайты разным SEO-тулзам. Особенно это касается тулов, не уважающих robots.txt, или сами боты малоизвестны. Например, условный Ahrefs или SemRush может иметь доступ к контенту сайта, но условный Serpstat увидит только 403 кода статуса (в доступе запрещен)...

Парсинг нужен, чтобы получить с сайтов открытую информацию. К примеру, цены, фотографии или полностью каталог товаров. Для этой задачи нужны специальные инструменты. Расскажем о том, как спарсить информацию...