Если вы, как мы, делаете RAG, то почитайте опыт наших ребят. У любой ИИ оплата за токены, но есть т.н. КЭШ и он позволяет сильно экономить деньги... Как оказалось, для умного помощника это прямо находка, т.к. вы гоняете туда-сюда один массив документов. Если текст уже ранее был, он попадает в кэш и цена токенов снижается на 50%. Если слово РАГ вам не интересно - плевать, не нужна, Вовка, тебе такая машина :) Русский ИТ бизнес
Если вы, как мы, делаете RAG, то почитайте опыт наших ребят. У любой ИИ оплата за токены, но есть т.н. КЭШ и он позволяет сильно экономить деньги...
Как оказалось, для умного помощника это прямо находка, т.к. вы гоняете туда-сюда один массив документов. Если текст уже ранее был, он попадает в кэш и цена токенов снижается на 50%.
Если слово РАГ вам не интересно - плевать, не нужна, Вовка, тебе такая машина :)
