Компания Anthropic представила новую функцию для своего API — Prompt Caching. Эта функция, доступная сейчас в публичной бета-версии, обещает разработчикам возможность кешировать контекст запросов, что должно сократить затраты до 90% и уменьшить задержку на 85% при работе с длинными запросами.
Prompt Caching — это технология, позволяющая сохранять контекст запросов для его повторного использования в будущем. Эта функция может быть полезна в случаях, когда один и тот же контекст используется многократно, например:
- Чат-боты: предполагается, что эта функция снизит стоимость и ускорит ответы в длительных беседах.
- Ассистенты для программирования: может улучшить автозаполнение и ответы на вопросы о коде за счёт сохранения важных частей кода.
- Обработка больших документов: позволяет включать длинные материалы без увеличения времени отклика.
Хотя потенциал для экономии времени и средств звучит привлекательно, остаётся вопрос, насколько эта технология будет полезна на практике. Например, в сложных сценариях, где условия часто меняются, кеширование может не дать ожидаемого эффекта. Кроме того, возникает вопрос надёжности хранения и использования кеша, особенно если контекст запросов будет меняться в процессе работы.
Anthropic предлагает запись в кеш по цене на 25% выше стандартной стоимости токенов, тогда как чтение из кеша должно быть дешевле на 90%. Однако эти цифры могут измениться после выхода функции из стадии бета-тестирования.
Prompt Caching выглядит многообещающе, но её реальная ценность станет понятна только после более широкого использования. Насколько функция действительно оправдает заявленные ожидания, покажет время.
______________________________________
Всех, кто интересуется последними новинками из мира AI призываем подписываться на наш канал. А тех, кто уже сейчас хочет попробовать себя в роли нейрокреатора, приглашаем на наш сайт.