作者开源粤语token成本测量工具并实测差异

作者“用户669829548529”发布本地 MCP 工具 yue-token-cost 及基准表，用于测量粤语、繁体与简体中文的 token 成本差异。工具通过 MCP 协议运行，不联网、不上传文字。 作者用 o200k_base 和 cl100k_base 两个 tokenizer 实测 6 条手写问句与 236 对真人中英双语文档，称现代 tokenizer 上繁体、粤语比简体贵 18–24%，旧一代上中文比英文贵 52% 到 79%。作者同时说明，样本只有 6 条句子，所得比值不是普适常数，繁简完全相同的条目被有意保留。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。