Одной из основных причин снижения позиций и трафика может стать наплыв роботов на сайт (ботов).
Прямые заходы ботов на сайт - распространенная проблема, с которой борются собственники сайтов последние годы. Это один из разновидностей DDOS-атак.
Из-за таких посещений сайт постепенно теряет позиции, переходов из поиска становится все меньше.
Признаки такого трафика - прямые заходы:
Яндекс ввел новый показатель в Метрике /Отчеты/Мониторинг/Роботы, который показывает, сколько роботов посещает сайт.
Сотрудники Яндекс при обращении к ним с жалобами о посещаемости сайта ботами, пишут что этот фактор не влияет на позиции,
Тем нее менее из-за наплыва роботов позиции снижаются, Так же мы получаем очень искаженную статистику о посещаемости сайта, а именно на ее основании маркетологи принимают решения и оценивают успешность рекламных компаний.
Поэтому очень важно сократить посещение сайта роботами до минимума.
Одним из способов борьбы с - «Cloudflare». Американская компания предоставляет услуги CDN, защиту от DDoS-атак, Далее описаны принципы работы системы по защите сайтов более профессиональным языком для подробного изучения.
«Cloudflare» – известная компания, предоставляющая услуги в области обратного проксирования для веб-ресурсов, DNS-серверов, CDN (географически распределенная сеть, предназначенная для ускорения передачи потоков информации конечному потребителю), а также защиту от различных угроз информационной безопасности. Штаб-квартира фирмы расположена в Соединенных Штатах, город Сан-Франциско. «Cloudflare» предоставляет свои услуги пользователям (владельцам сайтов) со всего мира.
Обратный прокси-сервер принимает запросы интернет-пользователей от имени основного сервера, по определенному алгоритму производит анализ пакета и, в случае отсутствия аномалий и «запрещенных пакетных данных», перенаправляет рабочей машине.
Использование подобной технологии проксирования позволяет защитить рабочий сервер от различных видов DDOS-атак (с помощью сети «ботнет», HTTP/HTTPS GET-флуда, HTTP/HTTPS POST-флуда, SYN-флуда и прочих), равномерно распределять путем балансирования входящую нагрузку между несколькими веб-серверами, ускоряя, тем самым, обработку запросов. А самое главное, обратное проксирование скрывает реальные серверные конфигурации, что усложняет процесс атак со стороны злоумышленников.
Структурно принцип работы подобного сервера можно изобразить на схеме, представленной на рисунке ниже.
В первом варианте, обратный прокси выполняет защиту и взаимодействует с одним реальным веб-сервером, а во втором – добавляется функция маршрутизации, характерная для крупных веб-проектов, в результате которой входящие запросы распределяются на группу серверов.
Если Вы хотите подключить обратное проксирование к своему сайту, можно воспользоваться подобной услугой от «Cloudflare». Подключение бесплатное. Достаточно перенести свой домен на их DNS-сервера, подключить ssl сертификат, активировать редирект с http на https, включить файервол топологического уровня L7, обеспечивающий защиту от DOS/DDOS-атак.
Отдельно можно подключить кэширование и сжатие кода со стороны обратного-прокси сервера «Cloudflare». Ведётся постоянное «логирование» трафика, данных о том, с каких IP-адресов велись посещения сайта. Вышеуказанную информацию можно всегда посмотреть в панели администрирования сервиса.
Технология кэширования «Cloudflare» тесно завязана на использование CDN, общий принцип которой представлен на схеме ниже.
Как настроить защиту от ботов на вашем сайте с помощью Cloudflare?
Вы можете использовать различные инструменты и настройки, которые предоставляются этим сервисом. Вот несколько шагов, которые могут помочь вам настроить защиту от ботов:
1. Создайте аккаунт в Cloudflare и добавьте ваш сайт в панели управления.
2. Перейдите в раздел "Firewall" (Брандмауэр) и выберите вкладку "Managed Rules" (Управляемые правила). Здесь вы можете включить и настроить готовые правила для защиты от ботов.
3. Ознакомьтесь с разделом "Bot Management" (Управление ботами) в панели управления Cloudflare. Здесь вы можете настроить различные функции, такие как "JavaScript Detections" (Обнаружение JavaScript), "Browser Integrity Check" (Проверка целостности браузера) и "Challenge Passage" (Проверка прохождения теста).
4. Включите "I'm Under Attack Mode" (Режим "Я под атакой") в панели управления Cloudflare. Этот режим активирует дополнительные защитные механизмы для борьбы с ботами и DDoS-атаками.
5. Используйте функцию "Rate Limiting" (Ограничение по скорости) для ограничения количества запросов от одного IP-адреса или определенного типа запросов.
6. При необходимости вы можете использовать специальные решения для защиты от ботов, такие как reCAPTCHA или hCaptcha, которые помогут отличать ботов от реальных пользователей.
7. Настройте фильтрацию HTTP-заголовков и параметров запросов, чтобы блокировать или ограничивать доступ для запросов, содержащих подозрительную информацию.
8. Регулярно мониторьте журналы активности и анализируйте данные для выявления аномальной активности и принятия соответствующих мер.
Важно помнить, что каждый сайт имеет свои особенности, и настройки защиты от ботов могут различаться. Рекомендуется ознакомиться с документацией Cloudflare, получить консультацию у их службы поддержки или обратиться к специалистам в области безопасности для наилучшей настройки защиты от ботов на вашем сайте.
Услуги от «Cloudflare» не лишены недостатков для своих пользователей
Во-первых, подключение своего сайта к их серверам добавляет дополнительную централизацию и делает его зависимым. Было не мало случаев, когда какая-либо аварийная ситуация выводила из строя веб-ресурсы миллионов абонентов «Cloudflare». Это, в свою очередь, принесло существенные финансовые потери, так как владельцы сайтов и мобильных приложений какое-то время не могли принимать платежи и выполнять свои функции, несли убытки. Среди пострадавших были и серьёзные клиенты, например, такие как «Discord» и «Twitch». При возникновении аварийных ситуаций часто бывает задета DNS-служба, что делает невозможным быстрое и легкое отключение от «Cloudflare».
Во-вторых, встроенный «Firewall» вместе с потенциально опасными пользователями интернета и/или ботами может отсекать и полезный для сайта трафик. Достаточно всего лишь иметь общую подсеть, чтоб попасть под действие алгоритмов по выявлению «недоброжелателей».
В-третьих, SSL-сертификат теряет своё прямое назначение, так как на стороне «Cloudflare» происходит расшифровка передаваемых данных. Говоря простым языком, запросы, идущие по https-протоколу, попадая на обратный прокси-сервер расшифровываются. Далее потоки информации анализируются и затем повторно шифруются уже другим ключом шифрования. Следуя в обратном порядке (от реального сервера), поток информационных данных обрабатывается аналогичным образом. Следовательно, все идущие пакеты «прослушиваются».
Владельцы сайтов и мобильных приложений на территории РФ, решивших воспользоваться услугами «Cloudflare», могут столкнуться с ещё одной проблемой, а именно блокировка со стороны органа государственной структуры – «Роскомнадзора». На это есть несколько причин:
- сервера для обратного проксирования располагаются не на территории РФ;
- несоблюдение некоторых законодательных требований (например, «закон Яровой»);
- блокировка всей подсети IP-адресов (подобное случалось при попытке «Роскомнадзора» заблокировать «Телеграм», в результате чего под «блок» попадали веб-сайты и ресурсы, не имеющие даже близкого отношения к данному мессенджеру).
Подобные недостатки подразумевают наличие альтернатив использования «Cloudflare». Функции обратного проксирования, кэширования и сжатия данных, защиты от DOS/DDOS-атак можно реализовать и другими способами.
Начать стоит с подключения SSL-сертификат а и работе через протокол https, настроив редирект http/https. Компания «Cloudflare», как правило, предлагает использовать бесплатный сертификат с лицензией «Let’s Encrypt», который действует 4 месяца, но, при использовании опции автоматического обновления/автопродления, срок можно сделать неограниченным. При всех особенностях данный некоммерческий сертификат не даёт высокого уровня надежности и защиты, поэтому рекомендуется в своих проектах обратить внимание на более профильные коммерческие варианты, обеспечивающие более полную защиту.
Функцию обратного проксирования можно реализовать, как на своем собственном сервере, так и на сторонних с использованием технологий «VDS/VPS». Достаточно обратиться к системному администратору или в поддержку хостинг-провайдера. Часто используют связки «Nginx–Apache», «Nginx–phpfpm», «Nginx–Gjango» и т.п. Подбор веб-серверов зависит от конкретной конфигурации интернет-проекта.
Помимо Cloudflare многие хостинг-провайдеры предлагают дополнительные услуги по защите от DOS/DDOS-атак на уровне L7 (веб-приложения). Если возникает необходимость в обеспечении безопасности проекта от подобных угроз, можно рассмотреть варианты с использованием данной опции.
--------------------
По вопросам разработки сайта, рекламной компании и получения подробной консультации, условиям работы и заключению договора просим вас обратиться:
Почта: info@2estudio.ru
Телефон: +79038443000
Скайп: jeniae2
