Hacker News · Show HN· HelldezNoBan·· 2 小时前精选AI 评分38
BigMoeOnEdge 开源：在 12GB 安卓手机和 16GB 笔记本上流式运行 284B MoE 模型
Show HN: A layer on top llama.cpp enabling big MoE streaming on phone and laptop
AI 导读
作者在 GitHub 开源 BigMoeOnEdge，这是构建在 llama.cpp 公共 API 之上的流式优化层，让超出内存数倍的 MoE 模型在边缘设备上运行。
推荐理由
作者开源了在手机和笔记本上流式跑大 MoE 模型的工具，附实测速度表和安装命令，适合想在本地跑大模型的人评估硬件可行性。
来源：Hacker News · Show HN · github.com