Модуль test-cookie-module github.com/kyprizel/testcookie-nginx-module Упрощенно, модуль шифрует  какую-то строку, идентифицирующую клиента, и клиент должен в браузере их расшифровать и результат кинуть в куки, чтобы последующие запросы начали проходить. По дефолту это IP-адрес. В JS коде клиенту приходит ключ, вектор инициализации и строка, которую нужно расшифровать. Если в качестве источника данных используется IP, достаточно загрузить и решить загадку для каждого бота. Результат назначить им куки, чтобы они могли работать дальше. В случае использования источников, напрямую контролируемых клиентом (на этом форуме используется User-Agent), достаточно вычислить результат один раз...

Любое простое изменение становится сложным, когда приложение уже работает. Ведь на нем находятся активные пользователи, которые, например, оставляют комментарии или покупают товар. Это связано с риском ухудшением пользовательского опыта или поломкой какой-либо части приложения. Чтобы уменьшить риск, изменение включают для определенной группы или сегмента пользователей для проверки. По результатам успешности принимается решение о включении изменения для всех или удалении изменения. Это называется A/B-тестирование...