Если вы, как мы, делаете RAG, и хотите чуть расширить кругозор, то почитайте тут. Короче, кэш-аугментированная генерация (CAG) — это метод, где содержимое документов заранее загружается в контекст большой языковой модели в виде кэш-пары ключ-значение. Это позволяет не тратить время на поиск данных во время работы модели, снижая использование токенов до 76% без потери качества ответов. CAG особенно хорош для ограниченных баз знаний, вроде внутренней документации или FAQ, где всё помещается в контекстное окно модели. По сравнению с RAG, CAG выигрывает в скорости для небольших баз, но пока не тянет огромные объёмы данных из-за ограничений контекстного окна. Уф... ну что знал, то сказал :) Не судите строго... Русский ИТ бизнес
Если вы, как мы, делаете RAG, и хотите чуть расширить кругозор, то почитайте тут.
Короче, кэш-аугментированная генерация (CAG) — это метод, где содержимое документов заранее загружается в контекст большой языковой модели в виде кэш-пары ключ-значение.
Это позволяет не тратить время на поиск данных во время работы модели, снижая использование токенов до 76% без потери качества ответов. CAG особенно хорош для ограниченных баз знаний, вроде внутренней документации или FAQ, где всё помещается в контекстное окно модели.
По сравнению с RAG, CAG выигрывает в скорости для небольших баз, но пока не тянет огромные объёмы данных из-за ограничений контекстного окна. Уф... ну что знал, то сказал :) Не судите строго...
