大模型开始自己排班：LLM 路由落地时我踩到的三个坑

作者在工单系统中引入 LLM 路由，最初所有请求都走旗舰模型导致账单异常增长。通过在轻量模型前加路由层判断任务难度，简单摘要类请求先解答，复杂任务才升级。但遇到三大坑：一是 7B 路由模型误判安静出错，后加硬规则过滤多步推理请求；二是升级时上下文被撕碎，改用片段编号传递；三是缺少决策可观测性，后在网关记录请求指纹、命中模型和升级原因。