跳到正文
掘金· 用户669829548529·· 17 小时前精选AI 评分58

作者实测 236 对双语文档:粤语比简体多 24% token,并开源 MCP 工具量成本

同一句话,粤语要贵 24%:我量了 236 对双语文档和 4 种写法

AI 导读

作者用 o200k_base 和 cl100k_base 两个 tokenizer 实测 6 条手写问句与 236 对真人中英双语文档,发现现代 tokenizer 上繁体、粤语仍比简体贵 18–24%,旧一代上中文比英文贵 52% 到 79%,一篇纯散文升级指南中文比英文多 31.2% 到 67.3%。

推荐理由

作者实测 236 对双语文档和 4 种写法,给出可复用的 token 成本量法与本地 MCP 工具,适合要控 API 成本的人。

来源:掘金 · juejin.cn