Mac本地跑LLM速度计算器上线
热点事件持续更新
Mac本地跑LLM速度计算器上线
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
开发者 bagdaerdev 在 Show HN 发布一个 Mac 本地运行 LLM 的计算器：输入 Mac 型号和模型，即可算出能否装下以及生成速度。其示例称 Llama 3.3 70B 在 Q4_K_M 下需约 56 GB 内存，M4 Pro 64 GB 约 5.7 tokens/sec。 该开发者称，除 M4 和 M5 Pro 外的各行均为计算值而非实测；最低内存按 8K 上下文、预留 3 GB 给系统估算；各芯片速度按该芯片最大内存配置给出，即 M4 32 GB、M4 Pro 64 GB、M4 Max（40 核 GPU）128 GB、M5 Ultra 512 GB。这些速度数字是估算结果，并非实测。 对想本地跑模型的 Mac 用户，这个工具可用于判断某型号能否装下目标模型，但非 M4、M5 Pro 机型的实际表现仍需自行验证。
AI 根据报道生成 · 1 小时前更新
最新进展10月17日 20:15
开发者上线 Mac 本地跑 LLM 计算器，给出各芯片显存与生成速度对照表报道时间线
沿着报道，了解事件的不同侧面。
10月17日
- Hacker News · Show HN精选开发者上线 Mac 本地跑 LLM 计算器，给出各芯片显存与生成速度对照表
开发者 bagdaerdev 在 Show HN 发布一个计算器，输入 Mac 型号和模型即可算出能否装下以及生成速度，例如 Llama 3.3 70B 在 Q4_K_M 下需约 56 GB 内存，M4 Pro 64 GB 约 5.7 tokens/sec。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。