Edge0 实现 35B MoE 模型在 Mac 上 2.9 GiB 推理

miofly 在掘金推荐 Edge0，称其通过 SSD 专家卸载与 Recover-LoRA 技术，让 35B 参数 MoE 模型在 M4 Pro 24GB Mac 上以 2.9 GiB 峰值内存实现流式推理，速度达 14.9–17.7 tok/s，并提供 OpenAI 兼容的 /v1/chat/completions 接口。 目前 Edge0 仅支持 macOS Apple Silicon（M1 至 M4 系列），CUDA 后端仍在规划中；仅提供 4-bit 量化检查点，其他精度需自行转换；文档仅含 README 与 docs 目录，API 细节与测试用例未专门说明；跨平台统一推理框架预计 2026 年第四季度发布，目前 iOS、Android、macOS 需各自独立集成。

AI 根据报道生成 · 2 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。