127 подписчиков
GPT-6 улучшает кэширование промптов для повторяющихся задач
Если корпоративный помощник в каждом запросе получает одни и те же правила, описание бренда или документы, обработка этого контекста влияет на задержку и стоимость работы с моделью.
В GPT-6 OpenAI заявила о более высокой вероятности использования кэша для совпадающих частей промпта. Также появились диагностика кэширования, явные точки разрыва кэша и настройки, связанные со скоростью и стоимостью запросов.
Практический подход: отделить постоянные инструкции ассистента от меняющихся данных клиента, затем проверить по серии похожих запросов, срабатывает ли кэш. Цены, лимиты и конкретный эффект обновления в анонсе не раскрыты.
Подробности о возможностях и ограничениях обновления собраны в материале.
Полная статья на сайте
Около минуты
3 дня назад