Хватит забивать гвозди микроскопом: почему генеративные LLM в роутинге — это плохо
Microsoft выкатила Microsoft-Decision-1 — модель на базе Qwen3.5-9B, заточенную не под генерацию текста, а исключительно под скоринг, роутинг и классификацию в один проход. Задержка в 35 раз ниже, чем у GPT-6 Sol, вход стоит копейки ($0.042 за 1M токенов), а токены на выходе бесплатные. Сколько агентных систем сегодня построены по принципу «пихаем во все щели монструозную LLM»? Пользователь нажал кнопку, а система дергает огромную сетку, ждет две секунды и сливает бюджет просто ради того, чтобы модель выдала true/false, распарсила интент или решила, в какую ветку пайплайна пойти дальше...