掘金· xlbbbcn·· 20 小时前精选AI 评分36
开发者给 AI Chat 的本地命令调用做七级风险评分，公开 Rust 实现与阈值表
给模型装上手和脚之后，我把边界做成了七个风险等级
AI 导读
作者在自研 AI Chat 中为模型发起的本地命令调用设计了一套风险评分机制，按黑名单严重程度 0.40、白名单覆盖 0.25、语义异常 0.20、危险能力 0.15 加权乘 100 后加惩罚项封顶 100，再用 [10, 25, 40, 55, 70, 85] 切成 L0 到 L6 七级，分别对应放行、记审计、模型警告后确认、人工复核和 90 分以上无条件拒绝。
推荐理由
作者公开了本地 agent 工具调用的七级风险评分与处置表，适合做 AI 客户端或智能体的开发者参考落地。
来源：掘金 · juejin.cn