跳到正文
掘金· 桃西西呀beverlyLee·· 2 小时前精选AI 评分38

开发者复盘 AI 网关限流翻车:固定窗口每秒 100 请求在大促被击穿,还拖垮同供应商其他租户

我把网关限流配置成每秒 100 请求,大促一来照样被打挂,还把别人也拖垮了

AI 导读

作者帮一家 SaaS 客服公司搭 AI 网关,按每租户 100 请求每 60 秒做固定窗口限流,大促时窗口边界两批各 100 个请求在 0.2 秒内砸向下游模型供应商,触发 429 雪崩并波及同一配额下的其他租户。

推荐理由

作者用可复现脚本拆解 AI 网关限流的三层配置与四个坑,适合正在给大模型应用做网关的开发者对照排查。

来源:掘金 · juejin.cn