跳到正文
热点事件持续更新

开发者公开AI Chat命令调用七级风险评分实现

1 篇报道1 个报道来源20 小时前更新

先了解这件事

AI 综述

开发者 xlbbbcn 在自研 AI Chat 中为模型发起的本地命令调用设计了一套风险评分机制,并公开了 Rust 实现与阈值表。评分按黑名单严重程度 0.40、白名单覆盖 0.25、语义异常 0.20、危险能力 0.15 加权乘 100,再加惩罚项封顶 100,用 [10, 25, 40, 55, 70, 85] 切成 L0 到 L6 七级。 处置上,L5 和 L6 直接放行,L4 放行但记审计,L3 和 L2 由模型先警告再请用户确认,L1 和 L0 人工复核,90 分及以上无条件拒绝。用户可在配置里改 auto_accept_confirm_kinds 决定哪几级免确认,支持 "*" 通配。 作者称这是启发式评分,不是沙箱;代码为纯 Rust 实现,可单独抽出使用。

AI 根据报道生成 · 3 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月22日
  1. 掘金精选
    开发者给 AI Chat 的本地命令调用做七级风险评分,公开 Rust 实现与阈值表

    作者在自研 AI Chat 中为模型发起的本地命令调用设计了一套风险评分机制,按黑名单严重程度 0.40、白名单覆盖 0.25、语义异常 0.20、危险能力 0.15 加权乘 100 后加惩罚项封顶 100,再用 [10, 25, 40, 55, 70, 85] 切成 L0 到 L6 七级,分别对应放行、记审计、模型警告后确认、人工复核和 90 分以上无条件拒绝。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。