掘金· 老纪的技术唠嗑局·· 2 小时前精选AI 评分38
OpenAI 发布 GPT-6 提示词缓存改进,命中率从 83% 升到 91%、推理费用降 36%
GPT-6 发布“Better prompt cache”,提示词缓存,带来了什么?
AI 导读
OpenAI 在 9 月 22 日发布《Better prompt caching for GPT-6》,称在相同评测负载下调整缓存断点后,命中率从 83% 提升到 91%,推理费用下降 36%。
推荐理由
原文把 GPT-6 缓存三档计价和十次调用算例列清楚了,适合要控推理成本的开发者核对账单。
来源:掘金 · juejin.cn