Клиент и проект:
Наш клиент — компания, занимающаяся решениями для водоснабжения и
водоотведения в Москве и Московской области. Сайт заказчика работает на
системе управления 1С-Битрикс.
Задача:
Модернизировать блокировку ботов сайта на новый сервис от Яндекса.
Боты:
За последние несколько месяцев мы и ряд наших клиентов обратили
внимание на большой поток ботов, посещающих сайты. Увидеть это можно в
Метрике как не реально большое количество прямых переходов на
сайт. Это уже не хорошие поисковые роботы Яндекса, Гугла и ряда других
сервисов. А мощный трафик всего - парсеры, заходы нейронок, поиск
уязвимостей и т.п.
Боты ходят на все сайты, но на некоторых трафик ботов просто
огромный. Блокировать или нет - однозначного ответа нет. Сервисы по
блокировке есть, но качественных не очень много.
Эти посещения ботов портят статистику посещаемости сайта и создают
сложности оценки реального трафика, включая анализ поведенческих
факторов: показателя отказов, времени на сайте и количества
просмотренных страниц.
Что было сделано?
Мы пробовали использовать Cloudflare и иной сервис, созданный
фрилансером, для блокировки ботов. Cloudflare — это зарубежный сервис,
работа которого по определенным причинам не всегда стабильна за
последнее время. Что касается сервиса от фрилансера — в целом он свою
задачу выполнял, но постоянно появляющаяся капча мешала работе с сайтом и
Заказчик не особо доверял этому сервису.
Было принято решение подключить сервис Yandex Smart Web Security. Это
новая разработка Яндекса. Сервис платный, но первые 2 месяца даются
бесплатно для изучения и тестирования. Принцип его работы схож с
Cloudflare. Сервис защищает Защита приложений от DDoS-атак, защищает API
от ботов и поведенческих атак, защищает сайт от взломов и утечек
данных.
Варианта подключения защиты два:
- Сайт переносится на виртуальную площадку в облако Яндекса, стоимость размещения входит в стоимость выбранного тарифа.
- Сайт остается на текущем хостинге и на него размещается скрипт
сервиса. При заходе на сайт скрипт незаметно отрабатывает и в случае
обнаружении бота блокирует соединение.
Клиентом выбрал второй вариант, зарегистрировался в сервисе и дал нам
доступ. Мы выполнили настройки, получили скрипт и разместили его в
"шапку" сайта.
Анализ:
Следующий шаг, спустя некоторое время, посмотреть Яндекс Метрику и
убедиться, что, так называемая, Роботность находится на низком уровне.
Задача выполнена!
Время всех работ — 1 час: изучение вариантов подключения, настройка
уровня защиты, отключение старого блокировщика ботов, размещение скрипта
от Яндекс.
---
Есть задачи по поддержке, доработке, разработке или привлечению клиентов на сайты? Обращайтесь: https://visualweb.ru