跳到正文
掘金· 刘胡子大叔·· 20 小时前精选AI 评分75

LLM 当裁判可靠吗:位置偏见、长度偏见、自我偏好

AI 导读

作者实测“规则先行、LLM 兜底”评测流程,发现规则四项全过的样本仍会答非所问(答相邻问题、答更大问题、不给结论),错误样本因无人检查而漏网。他调整抽检策略:规则不满分 100% 二审,规则满分抽 5%,LLM 调用量仅增 7.5% 却覆盖 60% 无人区。

推荐理由

给做 LLM 评测管线的工程师:抽检 5% 规则满分样本、交换顺序去位置偏见、裁判与人一致率超改进幅度,代价是少量额外推理成本。

来源:掘金 · juejin.cn