➡️А что по деньгам?
Пайплайн рос с каждой итерацией и каждая итерация стоила дороже предыдущей.
Вначале был один промпт. Скормил ЛЛМ новость - получил идеи. Дешево и быстро. Идеи были соответствующие.
Потом стало очевидно: модель не понимает, в каком мире происходит новость. Она не знает, кто реальные игроки, какие там деньги, есть ли уже кто-то, кто это делает. Придумывать идеи без этого контекста - как советовать, не зная ситуации. Добавил первый дополнительный вызов: исследователь, который идёт в интернет и собирает реальную картину рынка по каждой новости.
Подорожало сразу. Потому что этот исследователь - не дешевая Flash-модель. Это Perplexity с ризонингом и веб-поиском. И он обрабатывает каждую новость отдельно.
Дальше выяснилось, что сырой контекст и генерацию идей нельзя давать одной модели. Когда одна роль делает и анализ, и вывод - теряется глубина. Разделил на двух: аналитик разбирает входные данные, формулирует где боль и кто страдает, и только потом предприниматель генерирует идеи на основе этого диагноза.
Это еще два вызова Sonnet вместо одного.
Четвертым добавил критика - скоринг, который режет слабые идеи до того, как они попадут в канал.
Итого: один промпт превратился в четыре. Причем все 4 - это не дешевые халтурки, а тяжелые вызовы с большим контекстом.
Бюджету стало грустно😱
Чтобы бюджет немного взбодрить начал применять кэширование. Это срезало примерно 75% стоимости на системных промптах. Как прекрасно, что можно так оптимизировать работу.
На текущий момент на дневную обработку новостей у меня уходит 4 долл. Начинал с 20 центов. Ощущаю себя кутилой🥂
Прям получается производственный роман из моих постов😄
