掘金· 阿Q的AI笔记·· 2 小时前AI 评分12
35B模型塞进3GB内存：拆了MiniCPM-V的LES调度，我发现"按需加载"才是端侧MoE的真瓶颈
35B模型塞进3GB内存：拆了MiniCPM-V的LES调度，我发现“按需加载”才是端侧MoE的真瓶颈
AI 导读
MiniCPM-V 4.7 用 LES 前瞻专家调度，让 35B MoE 在 iPhone 17 Pro Max 上以约 3GB 内存跑到 13+ token/s，iPad Pro 11英寸 M4 达 17.39 token/s。
来源：掘金 · juejin.cn