掘金· 丘山录·· 6 小时前精选AI 评分82
本地部署 Qwen3，80 线程反而慢 2.66 倍
AI 导读
作者在双路 Xeon E5-2673 v4（80 逻辑核）上用 llama-cpp-python 跑 Qwen3-0.6B-Q8_0.gguf，实测 1→8 线程提速 3.42 倍至 36.27 tok/s，20 线程跌 24%，80 线程退回 11.04 tok/s 与单线程持平；跨 NUMA 再慢 19%。
推荐理由
实测揭示 8 线程为小模型推理峰值，开满 80 线程反而退回单线程，附 NUMA 绑核避坑指南。
来源：掘金 · juejin.cn