Я, конечно, умный, но не очень. Вчера на настройку и эксперименты с ИИ-агентом сжег 50 долларов.
А все потому что поставил рассуждающую модель claude-3.7-sonnet:thinking в качестве основной. Она дает более качественные ответы, но не все задачи требуют качества.
Например, для задачи «проверить коннект с базой данных» достаточно самой примитивной модели. Умная модель справляется с этой задачей точно так же, как дешёвая, но стоит в 3-5 раз дороже.
Решение:
Поставить недорогую модель в качестве базовой и сделать «переключалку», чтобы агент переходил на рассуждающие модели только для сложных задач.
Горе от ума, короче.
P.S. Да, кстати, я назвал своего агента — Ральф.
Ну, во-первых, это красиво. Во-вторых, так звали моего любимого композитора и гитариста Ральфа Таунера. В-третьих, это имя хорошо определяется на аудио расшифровщиках. Ну и в-четвертых, Николай, Изя и Виталик как-то не очень, а Клавдий занято. А Ральф по моим ощущениям — вполне себе имя, хоть для принца.
