capy-flash 双 16GB 显卡跑 125B MoE
热点事件持续更新
capy-flash 双 16GB 显卡跑 125B MoE
1 篇报道1 个报道来源3 小时前更新
先了解这件事
AI 综述
ValerioDolci 发布 capy-flash v0.5.4，一个能在两张 16 GB 消费级 RTX 50 系显卡上以 NVFP4 运行 125B MoE 模型 Qwen3.8-Flash-Next 的推理引擎。据其公布的数据，agentic replay 首 token 耗时 1.82 秒、解码 100.8 tok/s，20/20 多步编码任务通过，1,124 次工具调用无格式错误。 运行条件为 Linux、CUDA 13.1、两张 sm_120 架构 16 GB 显卡、支持 AVX-512 的 CPU、约 70 GiB 空闲内存和 135 GB 磁盘，且一次只处理一个请求（--max-concurrency 1）。作者称仅在上述机器上测试过。项目采用 Apache License 2.0 许可。
AI 根据报道生成 · 6 分钟前更新
最新进展10月16日 21:28
Show HN：capy-flash 用两张 16 GB 消费级 GPU 跑 125B MoE 模型报道时间线
沿着报道，了解事件的不同侧面。
10月16日
- Hacker News · Show HNShow HN：capy-flash 用两张 16 GB 消费级 GPU 跑 125B MoE 模型
capy-flash 在两张 RTX 5070 Ti 16 GB 上以 NVFP4 运行 125B MoE 的 Qwen3.8-Flash-Next，agentic replay 首 token 1.82 s、解码 100.8 tok/s，20/20 多步编码任务通过、1,124 次工具调用无格式错误。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。