跳到正文
Hacker News · Show HN· bagdaerdev·· 2 小时前精选AI 评分48

开发者上线 Mac 本地跑 LLM 计算器,给出各芯片显存与生成速度对照表

Show HN: Which Mac runs which LLM, and how fast

AI 导读

开发者 bagdaerdev 在 Show HN 发布一个计算器,输入 Mac 型号和模型即可算出能否装下以及生成速度,例如 Llama 3.3 70B 在 Q4_K_M 下需约 56 GB 内存,M4 Pro 64 GB 约 5.7 tokens/sec。

推荐理由

作者公开了本地跑大模型的显存与速度公式和实测误差,适合打算买 Mac 跑模型的人先算再下单。

来源:Hacker News · Show HN · macyou.co