Qwen3 80线程反向慢 2.66 倍

丘山录在双路 Xeon E5-2673 v4（80 逻辑核）服务器上跑 Qwen3-0.6B‑Q8_0.gguf，使用 llama‑cpp‑python 进行基准测试，结果显示 80 线程推理吞吐量比 8 线程慢 2.66 倍，甚至与单线程持平。 测试中，1 线程到 8 线程的并行度提升了 3.42 倍，最高吞吐量 36.27 tok/s；但 20 线程时吞吐量下降 24%，达到 27.21 tok/s；80 线程时吞吐量进一步下降至 11.04 tok/s，几乎与单线程一致。跨 NUMA 绑定的情况更差，吞吐量下降 19%。所有数据均为作者本人在本机实测，环境与脚本版本见文末参考。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。