: - Много-много лет Cloudflare убеждали всех, что они за всё хорошее и против всего плохого, - А особенно против скраперов и краулеров сайтов. Ну потому что фу-фу-фу так делать. - A few hours later... - Заполучив контроль над трафиком половины интернета, Cloudflare выкатывает свой /crawl ендпоинт, позволяющий одним запросом разложить сайт в маркдаун, извлечь ссылки и разложить по полочкам всё остальное содержимое сайта. Сначала мы продаём защиту от ботов, а потом мы продаём премиум-бота. Гениально! https://developers.cloudflare.com/changelog/post/2026-03-10-br-crawl-endpoint/