Если вы, как мы, делаете RAG, то почитайте опыт наших ребят. У любой ИИ оплата за токены, но есть т.н. КЭШ и он позволяет сильно экономить деньги... Как оказалось, для умного помощника это прямо находка, т.к. вы гоняете туда-сюда один массив документов. Если текст уже ранее был, он попадает в кэш и цена токенов снижается на 50%. Если слово РАГ вам не интересно - плевать, не нужна, Вовка, тебе такая машина :) Русский ИТ бизнес
Если вы, как мы, делаете RAG, то почитайте опыт наших ребят
19 апреля 202519 апр 2025
~1 мин