CloudFlare: Как подключить и настроить защиту сайта от ботов и накрутки ПФ? Записал на видео свой опыт настройки и борьбы с ботами и накрутчиками ПФ. Результаты и эффективность защиты. https://youtu.be/_C1_qdbmWpc Тайм-коды, оглавление видео в YouTube: 0:00 Введение. Что такое CloudFlare.com? 0:36 Регистрируемся в CloudFlare.com 0:53 Проверяем свой сайт на блокировку Роскомнадзором 1:19 Добавляем сайт в CloudFlare 1:36 Выбираем бесплатный тарифный план в CloudFlare 1:43 DNS-записи домена и их сверка с записями на хостинге 3:03 Прописываем NS-записи CloudFlare вместо NS-записей хостинга в регистраторе доменных имен, ждем обновления до 48 часов 4:07 Включаем DNSSEC 4:46 Настраиваем SSL/TLS - настраиваем безопасное подключение и сертификаты 6:10 Настраиваем WAF (Web Application Firewall) - 5 правил безопасности брандмауэра, которые отсекают около 90% ботов на сайт 6:27 Создаем правила в WAF. Виды блокирования 7:09 1 правило. Разрешаем Белых ботов 7:36 2 правило. Выдаем капчу: кто не SSL или имеет IPV6 8:52 3 правило. Выдаем капчу,кто не HTTP2+ или с пустым реферером 9:58 4 правило. Блокируем плохие парсеры 10:15 5 правило. Плохие страны - на усмотрение CloudFlare 10:50 Смотрим отчет География в Яндекс.Метрике 11:46 Включаем Bot Fight Mode - обнаружение JavaScript у ботов 12:14 Включаем Early Hints - предзагрузка страниц, ускорение 12:35 Сбрасываем кеш Purge Cache - Purge Everything 12:53 Включаем Browser Cache TTL - Respect Existing Headers 13:10 Включаем Crawler Hints - ускоряем индексацию поисковиками (возможно используют IndexNow) 13:56 Page Rules - настраиваем 3 правила базовых редиректов на уровне брандмауэра используя Forwarding URL + 301 - Permanent Redirect 15:33 Включаем Normalize URLs to origin - убираем двойные слеши и закодированные символы в URL, приводим к стандарту 15:43 Включаем 0-RTT Connection Resumption - повышаем производительность при повторных визитах 15:57 Включаем gRPC - для снижения использования полосы пропускания, уменьшения задержек и ускорения 16:15 Включаем Pseudo IPv4 - для поддержки сервером IPv4 при посещениях с IPv6 16:28 Внимание Maximum Upload Size - больше 100 МБ пользователи не смогут загрузить на сайт! 17:07 Смотрим отчеты 17:41 Анализируем отчет файервола - сколько ботов и прошедших проверку 18:14 Как накручивают сайт, делают отказы - как выявить и результаты после включения защиты 21:35 Включаем отображение роботного трафика в отчетах Яндекс.Метрики 22:22 Турбо-страницы Яндекса и ботный трафик 22:55 Как CloudFlare влияет на посещаемости с органики? 23:08 Смотрим отчет по страницам в Яндекс Вебмастер 24:03 Смотрим отчет по страницам в Google Search Console 24:37 Смотрим отчет Тренды в Яндекс Вебмастер 25:16 Как анализировать влияние CloudFlare на SEO 25:24 Заключение 26:15 Что делать, если CloudFlare запретят в РФ? В описании к видео есть примеры шаблонов для брандмауэра.