掘金· 桃西西呀beverlyLee·· 2 小时前精选AI 评分58
作者把八千 token 接口文档塞进 system prompt，第八轮答错字段、账单翻约 4 倍
我把整本接口文档塞进 system prompt，前 3 轮答得准，第 8 轮开始胡说，账单还翻了 4 倍
AI 导读
作者做接口联调时把约八千个 token 的整本接口文档塞进 system prompt，前 3 轮答得准，到第 8 轮问起第 3 轮聊过的限流头字段时给出错误字段名，照做被网关拒绝，八轮对话花费约为预期的 4 倍。
推荐理由
作者用自己八轮对话的踩坑复盘，讲清长上下文为何又贵又不准，并给出缓存、摘要、滑动窗口三种可照做的管法。
来源：掘金 · juejin.cn