掘金· miofly·· 3 小时前精选AI 评分63
Edge0 让 35B MoE 模型在 Mac 上仅用 2.9 GiB 内存流式推理
GitHub 今日推荐｜Edge0：让大号 MoE 模型在一台 Mac 上流式跑起来
AI 导读
Edge0 通过 SSD 专家卸载与 Recover-LoRA 精度恢复，让 35B 参数 MoE 模型在 M4 Pro 24GB Mac 上以 2.9 GiB 峰值内存跑出 14.9–17.7 tok/s，提供 OpenAI 兼容的 /v1/chat/completions 接口。
推荐理由
适合有 Apple Silicon 设备的工程师在本地跑 35B MoE 模型，仅需 2.9 GiB 内存，但仅限 macOS 且需动手配置。
来源：掘金 · juejin.cn