BigMoeOnEdge 开源 MoE 流式推理工具

开发者 HelldezNoBan 在 GitHub 开源 BigMoeOnEdge，这是一个构建在 llama.cpp 公共 API 之上的流式优化层，目标是让超出内存数倍的 MoE 模型在边缘设备上运行，例如在 12GB 安卓手机和 16GB 笔记本上运行 284B MoE 模型。 该工具支持 llama.cpp 能加载的任意 MoE gguf 文件，目前已在 Android、macOS、Windows 和 Linux 上发布，iOS 版本仍在开发中。作者称，手动传入的设置不会被覆盖；Metal 支持已内置，但尚未在设备上实际运行过。

AI 根据报道生成 · 1 小时前更新

还没有足够的连续观测数据，暂不绘制趋势。