掘金· 桃西西呀beverlyLee·· 1 小时前精选AI 评分38
给 AI 网关加计量埋点后，发现限流配错三个月、下游 LLM 账单多烧两倍
我给网关加了计量埋点，才发现限流配错三个月，下游账单多烧了两倍
AI 导读
作者给公司 AI 客服网关做限流时只埋了总请求数，三个月后财务账单显示 LLM 调用费用翻了两倍，按租户拆开才看到 acme 的 TPM 达 360000、缓存命中率 0%、429 占 20%、重试占 30%。
推荐理由
作者复盘 AI 网关计量埋点踩过的三个坑，给出维度拆分、429 与重试单列、直方图看 p99 的具体做法，适合做 LLM 网关的开发者对照自查。
来源：掘金 · juejin.cn