Чуть более месяца назад, перед 1 мая, на моем ресурсе «fixclan.ru» резко повысилась посещаемость. На этом месте можно было бы радоваться возрастающей популярности, откупоривать бутылку... газировки, и откинуться в кресло, но опыт работы с веб подсказывал, что что-то здесь не так.
Заранее предупреждаю, что статья вряд ли будет интересна обычному пользователю «Д-н» (данной платформы), и больше ориентирована на владельцев сайтов или вебмастеров.
Счетчик от «Liveinternet» мало информативен, в данном случае, а «Метрика» не указывала наличие подозрительных заходов или превышение процента отказов, что явно свидетельствовало бы об атаке. «Вебвизор» показывал, более-менее, нормальные поведенческие факторы (ПФ). Странным было лишь направление трафика - главная страница сайта по прямому заходу.
Немного ранее, от имени сего канала были размещены несколько комментариев, под разными авторами, паре других ресурсов, и предположив, что ноги растут оттуда, что это обычные пользователи, сайт оставлен в покое, но под периодическое наблюдение. Тем более, впереди маячили выходные, а на основной работе завал, который нужно в темпе разгрести, из-за чего свободного времени на «fixclan» не оставалось.
Прошли майские праздники, посещаемость вернулась в обычное русло, создавая впечатление о естественном колебании трафика. Ради подстраховки, подготавливались файлы htaccess и скрипт PHP, которые будут фильтровать трафик. Собиралась и анализировалась информация с логов сервера, и с помощью ресурса «CleanTalk». Это позволило выделить спам подсети.
В основном, большой процент заходов происходил из «PJSC MegaFon» (188.170.xxx.xxx).
Через несколько дней, количество посетителей вновь резко возросло. В этот момент, сразу же, сдался «liveinternet», просигнализировав о накрутке. «Метрика», в отчете, зачастила короткими сеансами, по 3-25 секунд. Только параметр «Отказов» жил своей спокойной тихой малоразмеренной жизнью, даже не подозревая, что началась вторая волна атаки.
На «неприятеля» брошен htaccess, со специальными строками (где xxx.xxx.xxx.xxx - это подозрительные подсети):
Order Allow,Deny
Allow from all
Deny from xxx.xxx.xxx.xxx
Deny from xxx.xxx.xxx.xxx
Это разрядило обстановку. Хоть тут и там просачивались боты, но их количество мизерное.
Следующим была обнаружена подсеть 5.34.xxx.xxx/23, в который несколько IP гнали «черный» трафик из ГС сайтов, по рефу. В этот момент дописана основная часть PHP фильтра и выпущена в работу.
Смысл скрипта в том, чтобы на уровне htaccess забирать на себя спам трафик и, в зависимости от настроек: полностью пропускать, блокировать на 403 ошибку, или дозировать.
Сейчас сайт находится в режиме дозирования, под наблюдением, а атака ботов продолжается. Малая их часть пропускается, а остальная «разбивается об стену Forbidden Error». Сделано это специально, чтобы своими ПФ сыграть мне на руку, и пока это получается. «Li» убрал уведомление о накрутке, и «Метрика» успокоилась.
Что рекомендуют в интернете?
Очень много рекомендаций про блокировку ip атакующих ботов в htaccess, но надо понимать, что делать это с каждым адресом бессмысленно. Их очень много. Лучше закрывать всю, самую активную, подсеть. Подчеркиваю - «самую активную», или сеть самых активных, обязательно с «черными» referer. Именно последние будут забивать гвозди в крышку вашего сайта.
Отключать, или фильтровать заходы в «Метрике» - не рекомендую, так как это тоже самое, что закрыть глаза на все происходящее. Ничего хорошего от этого не будет.
Несколько советов
Дам пару советов владельцам сайтов:
- установить несколько счетчиков (например, от «liveinternet» и «Метрика»);
- следить за метрикой, за частыми короткими заходами (до 25-30 секунд) на одну и ту же страницу;
- следить за резкими колебаниями трафика;
- обязательно следить на логами сервера (в момент подозрительной активности, и периодически), особенно за referer (такие часто не отображаются счетчиками);
На этом пока всё, пойду дальше работать. Всем Добра.