Почти каждый владелец сайта сталкивается с активностью ботов на своем сайте. Активность ботов известных поисковых систем обычно не создает существенной нагрузки и не сильно влияет на скорость работы сайта...

Сегодня опишем кейс по блокировке сео ботов из нашей рабочей практики. Задача от клиента - продвижение интернет-магазина. Мы вели этот проект уже несколько лет и использовали все доступные методы оптимизации и продвижения сайта. В последнее время зафиксировали возросшую нагрузку на сервер. Причём она выросла настолько, что появилась 502 ошибка и сервер практически лёг. Стали разбираться с вопросом и через htop увидели нагрузку в 200% на ядра процессора процессами httpd и mysql. Помимо этого, выросли...