掘金· lucas_AI·· 2 小时前精选AI 评分38
arXiv 论文实测 14 个 LLM 商业部署：temperature 0 下无一能复现自己的回答
同一个问题问了 14 遍，12 个部署改了答案：LLM 做医疗器械合规判定，确定性先不过关
AI 导读
GFLOPS 的 Ryosuke Suzuki 在 arXiv 发表论文，把 70 个医疗器械合规评估 prompt 以字节相同的请求发给 7 个模型、3 家提供方、6 条调用路径共 14 个商业部署，连续两天每天 5 次，实验花费 1,291 美元。
推荐理由
原文用 14 个商业部署的复现实验说明 temperature 0 也拦不住输出漂移，适合要把 LLM 判断写进审计记录的人对照自查。
来源：掘金 · juejin.cn