Perplexity обходит запреты на индексацию сайтов
Специалисты Cloudflare обнаружили, что Perplexity использует специальные краулеры, чтобы обойти сетевые блокировки и правила, прописанные владельцами сайтов в robots.txt. Если основной бот блокируется, Perplexity переключается на бота,замаскированного под браузер и сканирует сайт с его помощью.
Cloudflare исключил Perplexity из списка доверенных ботов и добавил данные о его скрытом краулере в настройки защиты. Теперь любой пользователь сервиса может заблокировать сбор данных для Perplexity до тех пор, пока стартап не придумает новый способ обхода блокировки.