Hacker News · Show HN· sheephess44·· 1 小时前精选AI 评分38
Show HN 上线 LLM 显存实测索引：117 个模型在真实硬件上的 VRAM 与 tok/s
Show HN: What LLM fits my GPU? – VRAM measured on real hardware for 117 models
AI 导读
作者在 quantized.uk 上线了一个 LLM 显存实测索引，覆盖 117 个模型，每行都是在 RTX 4090、3090、M3 Max、M2 Ultra 等真实硬件上跑出的 tok/s 与 VRAM 占用，例如 Llama 3.1 8B 在 RTX 4090 上用 ExLlamaV2 EXL2 4.65bpw 为 235 tok/s、5.4 GB。
推荐理由
整理了 117 个模型在真实显卡上的显存与 tok/s 实测数据，适合准备本地跑模型的人先查再下载。
来源：Hacker News · Show HN · quantized.uk