开发者公开AI Chat命令调用七级风险评分实现
热点事件持续更新
开发者公开AI Chat命令调用七级风险评分实现
1 篇报道1 个报道来源20 小时前更新
先了解这件事
AI 综述
开发者 xlbbbcn 在自研 AI Chat 中为模型发起的本地命令调用设计了一套风险评分机制,并公开了 Rust 实现与阈值表。评分按黑名单严重程度 0.40、白名单覆盖 0.25、语义异常 0.20、危险能力 0.15 加权乘 100,再加惩罚项封顶 100,用 [10, 25, 40, 55, 70, 85] 切成 L0 到 L6 七级。 处置上,L5 和 L6 直接放行,L4 放行但记审计,L3 和 L2 由模型先警告再请用户确认,L1 和 L0 人工复核,90 分及以上无条件拒绝。用户可在配置里改 auto_accept_confirm_kinds 决定哪几级免确认,支持 "*" 通配。 作者称这是启发式评分,不是沙箱;代码为纯 Rust 实现,可单独抽出使用。
AI 根据报道生成 · 3 小时前更新
最新进展10月22日 18:29
开发者给 AI Chat 的本地命令调用做七级风险评分,公开 Rust 实现与阈值表报道时间线
沿着报道,了解事件的不同侧面。
10月22日
- 掘金精选开发者给 AI Chat 的本地命令调用做七级风险评分,公开 Rust 实现与阈值表
作者在自研 AI Chat 中为模型发起的本地命令调用设计了一套风险评分机制,按黑名单严重程度 0.40、白名单覆盖 0.25、语义异常 0.20、危险能力 0.15 加权乘 100 后加惩罚项封顶 100,再用 [10, 25, 40, 55, 70, 85] 切成 L0 到 L6 七级,分别对应放行、记审计、模型警告后确认、人工复核和 90 分以上无条件拒绝。
本事件热度走势
还没有足够的连续观测数据,暂不绘制趋势。