掘金· Tokenfree·· 6 小时前精选AI 评分83
给大模型调用加一个熔断器：60 行代码，三个阈值
AI 导读
作者团队的写作助手曾因服务端抖动导致用户平均等待 62 秒、浪费 210 元调用费。他们自写 60 行 Python 熔断器，按滑动窗口 20 次、失败率 50%、冷却 30 秒三阈值判断，配合 max_retries=0 禁用 SDK 重试。
推荐理由
适合有技术的开发者照着 60 行代码给 LLM 调用加熔断，能在服务端抖动时把用户等待从 60 秒降到 1 秒并省下调用费。
来源：掘金 · juejin.cn