掘金· 桃西西呀beverlyLee·· 2 小时前精选AI 评分38
开发者复盘 AI 网关限流翻车:固定窗口每秒 100 请求在大促被击穿,还拖垮同供应商其他租户
我把网关限流配置成每秒 100 请求,大促一来照样被打挂,还把别人也拖垮了
AI 导读
作者帮一家 SaaS 客服公司搭 AI 网关,按每租户 100 请求每 60 秒做固定窗口限流,大促时窗口边界两批各 100 个请求在 0.2 秒内砸向下游模型供应商,触发 429 雪崩并波及同一配额下的其他租户。
推荐理由
作者用可复现脚本拆解 AI 网关限流的三层配置与四个坑,适合正在给大模型应用做网关的开发者对照排查。
来源:掘金 · juejin.cn