1️⃣ Как перестать угадывать слова и дать коду писать промты за вас (DSPy)
Ровно год назад я потратила неделю на промт для проверки первичных документов. Нужно было, чтобы система находила ошибки: несоответствия сумм, пропущенные реквизиты, неправильное отнесение на статьи затрат.
Пробовала разные формулировки. "Проверь документ на ошибки". "Найди несоответствия в суммах и реквизитах". "Действуй как опытный бухгалтер". Точность скакала от 55% до 70%, но я не понимала, от чего это зависит.
Хуже всего, что каждое обновление модели ломало результат. Промт, который вчера работал, сегодня пропускал половину ошибок. Приходилось начинать сначала.
В конце 2025 года я решила попробовать фреймворк DSPy. Это фреймворк, который относится к промтам как к параметрам нейросети, а не как к тексту, который надо красиво написать.
Логика простая:
🟦я задаю входные данные (скан накладной или акта), выходные данные (список найденных ошибок с указанием типа и места), метрику качества (процент обнаруженных несоответствий).
🟦алгоритм сам перебирает варианты промтов и находит тот, который дает лучший результат.
Запустила на 50 реальных документах с известными ошибками. За три часа работы точность выросла до 89%. Промт получился неожиданным - там были инструкции про последовательность проверок, которые мне самой не пришли бы в голову, пример промта вот тут.
Главное: когда Anthropic обновил Claude, мне не пришлось переделывать все вручную. Перезапустила оптимизацию на той же выборке, система подстроилась под новую версию.
Сейчас писать промты вручную - это как вести учет в тетради, когда есть 1С. Можно, но зачем? Но использовать различные фреймворки точно нужно.
Всем здоровья, мира и добра!
