Модуль test-cookie-module github.com/kyprizel/testcookie-nginx-module Упрощенно, модуль шифрует  какую-то строку, идентифицирующую клиента, и клиент должен в браузере их расшифровать и результат кинуть в куки, чтобы последующие запросы начали проходить. По дефолту это IP-адрес. В JS коде клиенту приходит ключ, вектор инициализации и строка, которую нужно расшифровать. Если в качестве источника данных используется IP, достаточно загрузить и решить загадку для каждого бота. Результат назначить им куки, чтобы они могли работать дальше. В случае использования источников, напрямую контролируемых клиентом (на этом форуме используется User-Agent), достаточно вычислить результат один раз...

Окей, брат, держись, сейчас буду рассказывать про nginx так, чтобы было понятно и прикольно. Представь себе, что у тебя есть ночной клуб, и туда ломятся толпы народу. Ты, как владелец, не можешь со всеми сразу поговорить, и тебе нужен вышибала на входе, который будет разруливать движуху. Вот этот вышибала — это и есть nginx. Это сервер. Но не просто сервер, а такой себе пацанский чувак, который умеет: Допустим, заходит клиент и говорит: "Эй, хочу страничку сайта". nginx принимает...