Hacker News · Show HN· davidetroiani·· 4 小时前精选AI 评分51
MoEShift：Apple Silicon Mac 上用半内存跑 125B MoE 模型，长提示词快 2.6 倍
Show HN: MoEShift - Faster large MoE inference with half the RAM
AI 导读
作者发布 MoEShift alpha 版，在 Mac mini M4 Pro（24 GB 统一内存）上运行 Qwen 3.8 Flash Next（125B，IQ3_XXS 量化），峰值进程内存 7.5 GB 对比 Strata 的 14 GB，长提示词处理速度 2.6 倍。
推荐理由
在 10 GB 内存 Mac 上本地跑 125B MoE 模型，峰值内存仅为同类工具一半，适合想离线推理的开发者。
来源：Hacker News · Show HN · github.com