跳到正文
热点事件持续更新

LLM显存实测索引上线,覆盖117个模型

1 篇报道1 个报道来源1 小时前更新

先了解这件事

AI 综述

作者 sheephess44 在 quantized.uk 上线了一个 LLM 显存实测索引,覆盖 117 个模型,每行给出在 RTX 4090、3090、M3 Max、M2 Ultra 等真实硬件上跑出的 tok/s 与 VRAM 占用。例如 Llama 3.1 8B 在 RTX 4090 上用 ExLlamaV2 EXL2 4.65bpw 为 235 tok/s、占用 5.4 GB。 索引中标注为“estimated”的数值是按模型架构推算的,并非在显卡上实测;该索引由人工维护,并对照公开的模型卡核对。数据更新至 2026-10-23,10 月 21 日新增 K2 Horizon MoVA 36B-A4B。

AI 根据报道生成 · 1 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

10月23日
  1. Hacker News · Show HN精选
    Show HN 上线 LLM 显存实测索引:117 个模型在真实硬件上的 VRAM 与 tok/s

    作者在 quantized.uk 上线了一个 LLM 显存实测索引,覆盖 117 个模型,每行都是在 RTX 4090、3090、M3 Max、M2 Ultra 等真实硬件上跑出的 tok/s 与 VRAM 占用,例如 Llama 3.1 8B 在 RTX 4090 上用 ExLlamaV2 EXL2 4.65bpw 为 235 tok/s、5.4 GB。

本事件热度走势

还没有足够的连续观测数据,暂不绘制趋势。