掘金· 吴佳浩Alben·· 2 小时前精选AI 评分38
Strata 实测：单张 RTX 5090 32GB 显存跑 125B MoE 专家缓存加投机解码达 256 tok/s
中小企业跑125B 大模型：显存装不下的时候，Strata 做了什么
AI 导读
作者在单张 RTX 5090（32GB）用 Strata 跑通 125B MoE，独占显存解码 256 tok/s，共享 18GB 仅 140 tok/s。入场需 32GB 显存、128GB 内存、Strata 容器与 GGUF 模型，按参数配专家缓存与投机解码。
推荐理由
工程师可参考该实测公式在 32GB 显存上部署 125B MoE 通过专家缓存与投机解码实现 256 tok/s 需备 128GB 内存与 Strata 引擎
来源：掘金 · juejin.cn