Сегодня опишем кейс по блокировке сео ботов из нашей рабочей практики. Задача от клиента - продвижение интернет-магазина. Мы вели этот проект уже несколько лет и использовали все доступные методы оптимизации и продвижения сайта. В последнее время зафиксировали возросшую нагрузку на сервер. Причём она выросла настолько, что появилась 502 ошибка и сервер практически лёг. Стали разбираться с вопросом и через htop увидели нагрузку в 200% на ядра процессора процессами httpd и mysql. Помимо этого, выросли...

Наверное, каждый знает, что сайты и сервисы собирают информацию о пользователях для собственных целей. User Agent - строка, которая содержит информацию о версии операционной системы, браузере и его особых функциях, а также об устройстве, с которого пользователь посещает сайт. Сайты собирают эти сведения для корректного отображения страницы и её содержимого. Раньше, сайты создавались с учётом особенностей разных браузеров, поэтому пользователи изменяли Юзерагент, чтобы просматривать страницы сайтов в том виде, который им нужен...