Модуль test-cookie-module github.com/kyprizel/testcookie-nginx-module Упрощенно, модуль шифрует  какую-то строку, идентифицирующую клиента, и клиент должен в браузере их расшифровать и результат кинуть в куки, чтобы последующие запросы начали проходить. По дефолту это IP-адрес. В JS коде клиенту приходит ключ, вектор инициализации и строка, которую нужно расшифровать. Если в качестве источника данных используется IP, достаточно загрузить и решить загадку для каждого бота. Результат назначить им куки, чтобы они могли работать дальше. В случае использования источников, напрямую контролируемых клиентом (на этом форуме используется User-Agent), достаточно вычислить результат один раз...

На сегодняшний день двумя наиболее популярными веб-серверами с открытым исходным кодом для работы в Интернете являются HTTP-сервер Apache и NGINX. Более 50% веб-сайтов в мире работают на этих двух веб-серверах. В течение почти двух десятилетий веб-сервер Apache обслуживал около 60 процентов веб-сайтов в мире, пока не появился его конкурент NGINX (произносится как «engine-x»). В связи с резким ростом объемов трафика данных и количества пользователей всемирной паутины NGINX был создан для преодоления ограничений производительности веб-серверов Apache...

Пришла заявка на то, что один из Nginx серверов недоступен. Сама виртуальная машина работает, однако, замечаю, что она светится красным по CPU. В событиях есть ошибка: Alarm 'Virtual machine CPU usage' changed from Green to Red Проблема возникла вчера в 18:13. Смотрим исторические значения CPU в Zabbix. Проблема явно есть, здесь получаем более точное время проблемы. Это 18:04. Открываю консоль KVM и вижу, что в STDERR есть записи о том, что nginx убит по OOM, и прочие сервисы типа redis тоже убиты по OOM...