Когда мы обсуждаем качество больших языковых моделей, чаще всего разговор идёт о новых архитектурах, триллионах параметров и стоимости обучения. Но свежий эксперимент в рамках Tau² Benchmark показывает: иногда не железо и не алгоритм решают исход, а всего лишь грамотно переписанный промпт.
📊 Что случилось
Исследователи протестировали GPT-5-mini — компактную версию GPT-5, которая работает вдвое быстрее и стоит в пять раз дешевле флагмана. В бенчмарке telecom_small модель показала 55 % успеха (pass¹) и 40 % при повторных попытках (pass²).
Затем документацию для промптов переписали при помощи Claude: из длинных описаний сделали структурированные деревья решений (decision trees), ввели чёткие бинарные условия («если X → то Y»), добавили явные шаги в стиле чек-листа и убрали двусмысленности.
Результат:
- 📈 pass¹ вырос с 0.55 до 0.675 (+22,7 %)
- 🔁 pass² поднялся с 0.4 до 0.5 (+25 %)
- ❌ количество полностью нерешаемых задач сократилось с 6 до 3
То есть мы получили модель, которая в два раза дешевле и в разы быстрее, но при этом почти догоняет «старших братьев» — достигая 85–95 % качества GPT-5, у которого результат ~97 %.
🧠 Почему это работает
Маленькие модели страдают не столько от «глупости», сколько от когнитивной перегрузки. Когда инструкция размытая, модель тратит ресурсы на интерпретацию, а не на решение задачи.
Что помогло:
- 🌳 Деревья решений вместо «текста в абзацах»
- 🟢 Бинарные условия («да/нет») вместо размытых правил
- 📋 Пошаговые инструкции с проверкой после каждого шага
- 🔧 Явное описание инструментов и параметров для вызова функций
- 📑 Справочные таблицы и напоминания об ошибках
Фактически, из «романа» сделали технический чек-лист, понятный даже ограниченной модели.
🤔 Моё видение
Для меня этот эксперимент — яркий сигнал о будущем:
- 🚀 Фокус смещается с гигантизма на эффективность. Вместо безумной гонки за параметрами можно оптимизировать то, что уже есть.
- 💡 Промпт-инжиниринг превращается в инженерную дисциплину. Это не «подбор красивой фразы», а проектирование структурированных политик, почти как код.
- 💰 Компактные модели становятся реально конкурентоспособными. Если GPT-5-mini с помощью пары оптимизаций приближается к GPT-5, то для компаний это миллиардные сбережения на инференсе.
- 🌍 Демократизация AI. Большие модели будут нужны для прорывных исследований, но массовый рынок может пойти по пути «маленьких, быстрых и дешёвых» LLM, где ключ к успеху — правильная упаковка знаний.
🛠️ Практические выводы
- ✏️ Всегда переписывайте системные промпты в структурированный формат.
- 🔍 Добавляйте проверки на каждом шаге — маленьким моделям нужен «страховочный трос».
- 📊 Используйте крупные модели (Claude, GPT-5) не только для работы, но и как мета-инструмент — для оптимизации промптов под более дешёвые аналоги.
- 🧩 Рассматривайте промпт как код: он должен быть модульным, читаемым и предсказуемым.
📌 Итог: GPT-5-mini показал, что «маленький, но умный» может быть не хуже «огромного и дорогого». А грамотный промпт-инжиниринг становится ключевым навыком, который способен экономить миллионы и открывать новые сценарии использования AI.
🔗 Источник: Tau² Benchmark: How a Prompt Rewrite Boosted GPT-5-mini by 22%