Сижу иногда в холле в клиниках у Заказчика, наблюдаю за очередью в регистратуре. И ловлю себя на мысли: я вижу ровно то же самое, что вижу в мониторинге нагруженного сервера в час пик. Только вместо запросов - люди, а вместо процессорных ядер - окна администраторов. Это не метафора. Это буквально одна и та же системная проблема - узкое место, bottleneck. Вот смотрите. 1. Принцип очереди (queue theory). Он везде одинаковый.
Неважно, что стоит в очереди - HTTP-запросы на авторизацию или пациенты с паспортами. Если скорость обработки (processing rate) на точке ниже, чем скорость поступления (arrival rate) - очередь будет расти. В IT мы видим растущий latency, таймауты. В клинике - это нервные люди, которые уже двадцать минут ждут запись. 2. Нужно искать не самую длинную очередь, а её причину.
Можно поставить пятого администратора, но если проблема в том, что медсестра не успевает готовить кабинеты к приёму, и врачи простаивают - толку не будет. Ровно как и добавить сервер в кластер, когда