跳到正文
掘金· 老纪的技术唠嗑局·· 2 小时前精选AI 评分38

OpenAI 发布 GPT-6 提示词缓存改进,命中率从 83% 升到 91%、推理费用降 36%

GPT-6 发布“Better prompt cache”,提示词缓存,带来了什么?

AI 导读

OpenAI 在 9 月 22 日发布《Better prompt caching for GPT-6》,称在相同评测负载下调整缓存断点后,命中率从 83% 提升到 91%,推理费用下降 36%。

推荐理由

原文把 GPT-6 缓存三档计价和十次调用算例列清楚了,适合要控推理成本的开发者核对账单。

来源:掘金 · juejin.cn