吴佳浩实测Strata单张5090跑125B MoE达256 tok/s
热点事件持续更新
吴佳浩实测Strata单张5090跑125B MoE达256 tok/s
1 篇报道1 个报道来源2 小时前更新
先了解这件事
AI 综述
吴佳浩 在掘金发布实测文章，验证 Strata 引擎在单张 RTX 5090（32GB）上运行 125B MoE 模型的显存账本与性能。实测独占 32GB 显存时解码速度达 256 tok/s；限制显存 18GB（共享模式）时降至 140 tok/s。 入场需 32GB 显存、128GB 内存、Strata 容器与 GGUF 模型，并需按模型参数配置专家缓存与投机解码。
AI 根据报道生成 · 1 小时前更新
最新进展10月30日 15:04
Strata 实测：单张 RTX 5090 32GB 显存跑 125B MoE 专家缓存加投机解码达 256 tok/s报道时间线
沿着报道，了解事件的不同侧面。
10月30日
- 掘金精选Strata 实测：单张 RTX 5090 32GB 显存跑 125B MoE 专家缓存加投机解码达 256 tok/s
作者在单张 RTX 5090（32GB）用 Strata 跑通 125B MoE，独占显存解码 256 tok/s，共享 18GB 仅 140 tok/s。入场需 32GB 显存、128GB 内存、Strata 容器与 GGUF 模型，按参数配专家缓存与投机解码。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。