MiniCPM-V 4.7 端侧 MoE 推理技术解读

MiniCPM-V 4.7 采用 LES 前瞻专家调度，让 35B MoE 模型在 iPhone 17 Pro Max 上以约 3GB 内存跑到 13+ token/s，iPad Pro 11 英寸 M4 达 17.39 token/s。 据阿Q的AI笔记解读，35B 完整权重约 65.6GiB，大部分存放在 SSD 上，只把当前工作集加载到内存，因此 3GB 是活跃工作集而非模型体积。该解读称，大多数场景下 LES 能提前准备好超过 80% 的所需专家，且所有优化都是无损的，输出结果与不做优化的版本完全一致。 其结论是，端侧跑大模型的瓶颈不是内存大小，而是专家权重的加载策略。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。