链载Ai

标题: OpenAI革新性功能： [打印本页]

作者: 链载Ai 时间: 昨天 11:34
标题: OpenAI革新性功能：

Prompt Caching 的 API

今天，我们介绍了 Prompt Caching 功能，允许开发者减少成本和延迟。通过重用最近看到的输入token，开发者可以获得50%的折扣和更快的提示处理时间。

Prompt Caching 的可用性和定价

从今天开始，Prompt Caching 自动应用于最新版本的 GPT-4o、GPT-4o mini、o1-preview 和 o1-mini，以及这些模型的细调版本。缓存的提示比未缓存的提示更便宜。

以下是定价概述：

模型	原价	缓存价格
GPT-4o-2024-08-06	$2.50 \| $1.25	$10.00
GPT-4o 细调	$3.75 \| $1.875	$15.00
GPT-4o mini-2024-07-18	$0.15 \| $0.075	$0.60
GPT-4o mini 细调	$0.30 \| $0.15	$1.20
o1-preview	$15.00 \| $7.50	$60.00
o1 mini	$3.00 \| $1.50	$12.00

监控缓存使用

对支持模型的 API 调用将自动从提示缓存中受益，前提是提示长度超过 1024 个token。API 缓存之前计算过的提示的最长前缀，从 1024 个token开始，增加 128 个token的增量。如果您重用具有共同前缀的提示，我们将自动应用 Prompt Caching 折扣，无需对 API 集成进行任何更改。

使用 Prompt Caching 的请求在 API 响应中的 ‘usage’ 字段中包含 ‘cached_tokens’ 值：

usage: {
total_tokens: 2306,
prompt_tokens: 2006,
completion_tokens: 300,
prompt_tokens_details: {
cached_tokens: 1920,
audio_tokens: 0,
},
completion_tokens_details: {
reasoning_tokens: 0,
audio_tokens: 0,
}
}

缓存通常在不活动 5-10 分钟后清除，并在缓存最后使用后的一小时内始终删除。如所有 API 服务一样，Prompt Caching 遵守我们的企业隐私承诺。提示缓存不会在组织之间共享。

Prompt Caching 是开发者在生产环境中扩展应用程序时平衡性能、成本和延迟的一种工具。更多信息，请参阅 [Prompt Caching 文档]。**

欢迎光临链载Ai (https://www.lianzai.com/)