Клиент обратился к нам с проблемой медленной работы сайта и его периодической недоступностью. Так как это интернет-магазин, то он нёс большие убытки и от стабильной работы ресурса зависел весь его бизнес. Клиент использует bitrixVM (centos) и решение CMS Битрикс + CRM Битрикс24 на борту. В ходе диагностики выяснилось, что сайт имеет множество поддоменов и по стратегии SEO специалиста каждый поддомен заведен как отдельный сайт под нужный регион. Следовательно боты Яндекса расценивают их отдельными сайтами и даже достаточно мощный сервер не справляется с этой нагрузкой...

Сегодня опишем кейс по блокировке сео ботов из нашей рабочей практики. Задача от клиента - продвижение интернет-магазина. Мы вели этот проект уже несколько лет и использовали все доступные методы оптимизации и продвижения сайта. В последнее время зафиксировали возросшую нагрузку на сервер. Причём она выросла настолько, что появилась 502 ошибка и сервер практически лёг. Стали разбираться с вопросом и через htop увидели нагрузку в 200% на ядра процессора процессами httpd и mysql. Помимо этого, выросли...