💡 Что если можно гарантировать, что ответ LLM всегда будет строго в нужном формате?
Большинство инструментов идут постфактум-путём.
Например, Instructor или PydanticAI проверяют вывод после генерации. Если валидация не прошла - ошибка отправляется обратно в модель, и она пробует снова.
Каждый такой ретрай - это токены, время и деньги, которые не дали полезного результата.
Подход Guidance принципиально другой.
Он ограничивает пространство возможных токенов во время генерации, поэтому модель просто не может выдать невалидный формат.
Не «сгенерировал криво - починили», а «криво сгенерировать невозможно».
Что это даёт:
Жёстко ограниченные ответы через regex и функции выбора
Python-логика прямо в процессе генерации (if/else, циклы)
Генерация JSON с валидацией по Pydantic-схеме
Это уже не просто «prompt engineering».
Это превращение LLM из болтливого генератора текста в управляемый программируемый компонент.
