12 подписчиков
Новая функция Claude снижает расходы на ИИ до 90% и увеличивает скорость на 85%.
Секрет? «Оперативное кэширование»
---
Что это?
Это позволяет хранить много контекста или фоновой информации, которую можно повторно использовать, когда вы часто звоните модели ИИ.
Вот как это работает:
Один раз можно сохранить большое количество текста. Этот текст может быть инструкциями, примерами или базовой информацией.
В будущих звонках API вы можете ссылаться на эту сохраненную информацию, не отправляя ее снова.
Что это значит
Сокращает расходы до 90% для длинных подсказок
Ускоряет ответы до 85% для длинных подсказок
Предоставляет больше фоновой информации без торможения запросов
Применения:
Чат-боты с длинными историями чата
Помощники кодирования, которые вспоминают большие кодовые базы
ИИ работает с длинными документами или подробная инструкция
Системы, которые часто имеют доступ к одному и тому же большому набору данных
---
Подробнее:
Около минуты
15 августа