Найти в Дзене
Спроси у папы

Боты сожрали 70% трафика моего сайта. Вот как я их победил

Полгода назад открыл статистику в Яндекс.Метрике и обалдел. Семь из десяти посетителей — боты. Не люди, не потенциальные клиенты, а какие-то скрипты, которые ходят туда-сюда и портят всю аналитику. Сайт в выдаче начал проседать, конверсия упала, сервер периодически подвисал. А я сидел и думал: "Может, дизайн поменять? Или контент не заходит?" Представьте: вы вкладываетесь в SEO, пишете статьи, настраиваете рекламу. Смотрите в Метрику — трафик вроде растет. Но продажи стоят на месте. Начинаешь копать глубже и видишь: Думаешь: "Всё, провал. Надо срочно переделывать сайт". А на самом деле это просто боты заходят, скребут страницы и уходят. Поисковики видят эти жуткие поведенческие факторы и думают: "Сайт — отстой, люди сразу сваливают". И привет, вторая страница выдачи вместо топ-5. Плюс сервер постоянно под нагрузкой. VPS на 4 ядрах и 8 гигах оперативки работал как утюг — 70-80% загрузки процессора. А половина запросов шла вообще впустую. Первое, что приходит в голову. Поставил Google re
Оглавление
Killbot – скрипт защиты сайта от поведенческих ботов
Killbot – скрипт защиты сайта от поведенческих ботов

Полгода назад открыл статистику в Яндекс.Метрике и обалдел. Семь из десяти посетителей — боты. Не люди, не потенциальные клиенты, а какие-то скрипты, которые ходят туда-сюда и портят всю аналитику.

Сайт в выдаче начал проседать, конверсия упала, сервер периодически подвисал. А я сидел и думал: "Может, дизайн поменять? Или контент не заходит?"

Когда понял, что пора что-то делать

Представьте: вы вкладываетесь в SEO, пишете статьи, настраиваете рекламу. Смотрите в Метрику — трафик вроде растет. Но продажи стоят на месте.

Начинаешь копать глубже и видишь:

  • Отказы — 85%
  • Время на сайте — 8 секунд
  • Глубина просмотра — 1 страница

Думаешь: "Всё, провал. Надо срочно переделывать сайт".

А на самом деле это просто боты заходят, скребут страницы и уходят. Поисковики видят эти жуткие поведенческие факторы и думают: "Сайт — отстой, люди сразу сваливают". И привет, вторая страница выдачи вместо топ-5.

Плюс сервер постоянно под нагрузкой. VPS на 4 ядрах и 8 гигах оперативки работал как утюг — 70-80% загрузки процессора. А половина запросов шла вообще впустую.

Что я пробовал до Killbot (и почему не сработало)

Капча

Первое, что приходит в голову. Поставил Google reCAPTCHA на все формы.

Результат: люди начали жаловаться. "Достала ваша капча", "Не могу пройти проверку", "Уже третий раз решаю головоломку".

А боты? Продолжали ходить. Потому что есть сервисы типа Anti-Captcha, которые за копейки решают любую капчу. Или просто пропускают формы и идут по другим страницам.

Блокировка по IP

Взял логи, посмотрел самые активные IP — и в бан. Заблокировал штук 50 адресов.

На следующий день получил письмо от клиента: "Почему я не могу зайти на ваш сайт?"

Оказалось, я заблокировал весь пул адресов мобильного оператора. Вместе с ботами — тысячи реальных людей.

А боты просто переключились на другие прокси и продолжили работу.

Cloudflare

Подключил Cloudflare с защитой от ботов. Стало лучше, нет.

Во-первых, большая часть ботов всё равно проходила. Во-вторых, сайт начал тормозить для некоторых пользователей. В-третьих, настройка оказалась тем еще квестом.

Как я нашел Killbot

Наткнулся на статью на Хабре. Автор рассказывал про свою систему защиты от ботов. И знаете, что зацепило?

Разработчик сам писал ботов. То есть он знает все фишки изнутри — как обходить защиту, какие уязвимости использовать, как маскировать боты под людей.

А потом решил сделать антибот-систему. Типа "бывший вор открыл охранное агентство" — кто лучше знает, как защититься?

Почитал описание, подумал: "Ладно, попробую. Хуже уже не будет".

Как работает Killbot (простыми словами)

Представьте вышибалу в ночном клубе. Он стоит у входа и проверяет каждого посетителя. Если всё ок — пропускает внутрь. Если что-то не так — разворачивает обратно.

Killbot работает похоже, только на цифровом уровне.

Когда кто-то пытается зайти на ваш сайт, он сначала попадает на сервер Killbot. Там за секунду происходит проверка:

Это человек или бот?

Если человек — моментально перенаправляется на ваш сайт. Даже не замечает задержки.

Если бот — блокируется. Даже до вашего сервера не доходит.

Как система понимает, где бот, а где человек?

Killbot создает "отпечаток браузера" — уникальный набор характеристик:

  • Какие шрифты установлены
  • Какое разрешение экрана
  • Как работает WebGL
  • Часовой пояс
  • Десятки других параметров

У реального человека эти параметры складываются в логичную картину. У бота — нестыковки.

Например, бот говорит: "Я Chrome на Windows". А отпечаток показывает: "У тебя WebGL работает как на Linux, а шрифты вообще левые".

Всё, попался.

Что изменилось после установки

Поставил Killbot за 15 минут. Просто поменял DNS-запись — всё.

И начал смотреть статистику.

Через час

Заблокировано 200+ ботов. Думаю: "Неплохо начало".

Через неделю

Отфильтровано 60% трафика. То есть больше половины моих "посетителей" были ботами. А я-то думал, что контент плохой пишу.

Через месяц

Смотрю на Метрику:

  • Глубина просмотра: было 1,2 страницы → стало 3,4
  • Время на сайте: было 40 секунд → стало 2,5 минуты
  • Отказы: было 85% → стало 34%

Наконец-то вижу реальную картину. Без мусорного трафика.

Через три месяца

Позиции в Яндексе начали расти. Не резко, постепенно. Но несколько ключевых запросов поднялись с 20-30 мест в топ-10.

Может, совпадение. Но не думаю.

Были ли косяки?

Ну а как без них.

Косяк №1: Ложная блокировка

Система заблокировала моего знакомого, который зашел через VPN. Написал в поддержку, подсказали как разблокировать в один клик. Больше проблем не было.

Косяк №2: Клиенты иногда жалуются

Пару раз были обращения: "Не могу зайти на сайт". Проверил — система сработала слишком строго. Добавил в белый список — проблема решена.

Таких случаев процентов 5 от общего числа блокировок. Терпимо.

Косяк №3: Задержка при первом заходе

Около секунды. Пользователь видит экран "Проверка безопасности", потом попадает на сайт. При повторных заходах задержки нет.

Кого-то это напрягает. Но лично я считаю, что секунда задержки — это нормальная цена за отсутствие ботов.

Интеграция с Яндекс.Метрикой

Вот это меня прям порадовало. Killbot помечает каждый визит в Метрике тегом — "бот" или "человек".

Открываешь отчеты — и видишь реальную статистику. Без искажений. Можешь нормально анализировать конверсии, строить воронки, смотреть, что работает.

А если система кого-то заблокировала по ошибке — в интерфейсе Killbot видишь этого пользователя и в один клик разблокируешь. Удобно.

Сколько это стоит?

Есть разные тарифы от 999 рублей — зависит от трафика вашего сайта. Есть бесплатный тариф для ознакомления, но без возможности блокировки ботов, а только для анализа.

Для малого и среднего бизнеса вполне доступно. Дороже, чем просто какой-нибудь JS-скрипт, но эффективность несравнимо выше.

Можно арендовать облачную версию у Killbot — просто меняете DNS и всё работает.

Можно развернуть свой прокси-сервер — для продвинутых пользователей. Но это требует технических навыков.

Что насчет нагрузки на сервер?

Была проблема — стала решением.

До Killbot:

  • Нагрузка на CPU — 70-80%
  • Боты постоянно дергали базу данных
  • Периодические подвисания

После Killbot:

  • Нагрузка на CPU — 20-30%
  • Вредоносный трафик не доходит до сервера
  • Стабильная работа

Даже когда на меня попытались устроить DDoS-атаку (видимо, конкурент постарался), Killbot держал удар. Прокси-сервер справился, мой основной сервер даже не почувствовал нагрузки.

Есть ли альтернативы?

Да, есть. Обе блокируют ботов капчей:

Antibot Cloud — защита сайта от ботов. Антибот, Антиспам, Брандмауэр для защиты WordPress и PHP сайтов. От $10.

Botfaqtor — высокие цены. От 9500 руб. за месяц.

Я выбрал Killbot по соотношению цена/качество. Но может для кого-то другие варианты окажутся лучше.

Мой вердикт

Плюсы: ✅ Фильтрует 95%+ ботов ✅ Не раздражает пользователей капчами ✅ Снижает нагрузку на сервер ✅ Даёт честную аналитику ✅ Защищает от DDoS ✅ Простая настройка ✅ Интеграция с Яндекс Метрикой

Минусы: ❌ Дополнительные расходы ❌ Редкие ложные срабатывания ❌ Секундная задержка при первом заходе ❌ Относительно молодой проект

Стоит ли? Если у вас проблемы с ботами — однозначно да.

Как проверить, есть ли проблема? Зайдите в Метрику, посмотрите на отказы и глубину просмотра. Если отказов больше 60% — скорее всего, у вас много ботов.

Для интернет-магазинов, новостных сайтов, порталов с платным контентом — это не роскошь, а необходимость.

Коротко о главном

🤖 Боты — это проблема: Они портят аналитику, нагружают сервер, снижают позиции в поиске

🛡 Killbot работает: За полгода отфильтровал 60% трафика, улучшил поведенческие факторы

⚙️ Легко настроить: 15 минут на установку, просто поменять DNS-запись

📊 Честная статистика: Интеграция с Метрикой показывает реальную картину

💰 Окупается: Снижение нагрузки на сервер + рост позиций в поиске

P.S. Я не получаю денег от Killbot за эту статью. Просто делюсь опытом. Если у вас другое решение проблемы с ботами — буду рад услышать в комментариях 👇