今天，OpenAI推出了提示缓存(Prompt Caching)，允许开发者降低成本和延迟。通过重复使用最近看到的输入令牌，开发者最多可以降低50%的成本和更快的提示处理时间。
ingFang SC", "Hiragino Sans GB", "Microsoft YaHei UI", "Microsoft YaHei", Arial, sans-serif;letter-spacing: 0.034em;">为什么发布提示缓存？
许多开发者在构建AI应用程序时会在多个API调用中重复使用相同的上下文，例如在编辑代码库或与聊天机器人进行长时间多轮对话时。
提示缓存可用性和定价
从今天开始，提示缓存自动应用于GPT-4o、GPT-4o mini、o1-preview和o1-mini的最新版本，以及这些模型的微调版本。以下是定价概览:
如何监控缓存的使用？
对支持的模型的API调用将自动从超过1024个Token的提示词启用缓存。API会缓存之前已计算过的提示的最长前缀，从1024个令牌开始，以128个令牌为增量。如果开发者重复使用具有共同前缀的提示，OpenAI将自动应用提示缓存。开发者无需对API集成进行任何更改。
使用提示缓存的请求在API响应的'usage'字段中有一个'cached_tokens'值:
usage:{total_tokens:2306,prompt_tokens:2006,completion_tokens:300,prompt_tokens_details:{cached_tokens:1920,audio_tokens:0,},completion_tokens_details:{reasoning_tokens:0,audio_tokens:0,}}缓存通常在5-10分钟不活动后清除，并且始终在缓存最后使用后一小时内移除。
如何有效地结构化提示词？
只有在提示内完全匹配前缀时才可能出现缓存命中。要实现缓存收益，请将静态内容(如指令和示例)放在提示的开头，并将可变内容(如用户特定信息)放在末尾。这也适用于图像和工具，它们在请求之间必须完全相同。
工作原理
对于1024个令牌或更长的提示，缓存自动启用。当您发出API请求时，会发生以下步骤:
缓存查找: 系统检查您提示的初始部分(前缀)是否存储在缓存中。
缓存命中: 如果找到匹配的前缀，系统使用缓存的结果。这显著降低了延迟并减少了成本。
缓存未命中: 如果没有找到匹配的前缀，系统处理您的完整提示。处理后，您提示的前缀将被缓存以供将来请求使用。
可以缓存的内容
消息:完整的消息数组，包括系统、用户和AI交互。
图像:用户消息中包含的图像，可以是链接或base64编码的数据，也可以发送多个图像。确保detail参数设置相同，因为它会影响图像标记化。
工具使用:消息数组和可用的`tools`列表都可以被缓存，有助于达到1024个令牌的最低要求。
结构化输出:结构化输出模式作为系统消息的前缀，可以被缓存。
最佳实践
将静态或重复内容结构化在提示的开头，动态内容放在末尾。
监控缓存命中率、延迟和缓存令牌百分比等指标，以优化您的提示和缓存策略。
为了增加缓存命中，使用更长的提示，并在非高峰时段发出API请求，因为在高峰时段缓存清理更频繁。
最近未使用的提示会自动从缓存中移除。为了最小化缓存丢失，保持使用相同提示前缀的请求流稳定。
祝大家的AI应用开发越来越好！
| 欢迎光临 链载Ai (https://www.lianzai.com/) | Powered by Discuz! X3.5 |