跳到正文
掘金· 桃西西呀beverlyLee·· 1 小时前精选AI 评分38

给问答接口加语义缓存后,问「今天天气」的人被答成「明天天气」

语义缓存:命中率上去了,却把问「今天天气」的人答成了「明天天气」

AI 导读

作者给问答接口加了一层语义缓存,上线首周命中率上升、账单下降,但用户问「北京明天天气」时返回了「北京今天晴,最高 22 度」的旧缓存。文章拆解了 L1 精确缓存、L2 语义缓存、L3 大模型三层结构,并给出阈值扫描结果:τ 从 0.95 降到 0.85 命中率由 0.17 升到 0.50,同时出现假阳性,「今天/明天」相似度达 0.909,靠调阈值挡不住。

推荐理由

作者用一次线上翻车复盘语义缓存的三层结构、阈值扫描与失效策略,适合给问答接口降本的开发者参考。

来源:掘金 · juejin.cn