Kestrel VLLM CUDA Graph 集成 Hybrid 推理路径提速
热点事件持续更新
Kestrel VLLM CUDA Graph 集成 Hybrid 推理路径提速
1 篇报道1 个报道来源9 小时前更新
先了解这件事
AI 综述
Kestrel/VLLM 项目作者将 CUDA Graph 集成到 Hybrid 推理路径（48 GDN + 16 full attention），在 RTX 5090 上实现同会话 A/B 提速 1.1335×。集成后，nsys 量出发射空档降低至 2.761 ms/token（降幅 16.87%），核心在于将位置量从内核参数搬至设备。图档与流式档在 h64 / hfinal / logits 元素级 memcmp 上逐字节一致，确保结果一致性。
AI 根据报道生成 · 2 小时前更新
报道时间线
沿着报道，了解事件的不同侧面。
11月3日
- 掘金精选Kestrel_VLLM 实测 CUDA Graph 落地 hybrid 路径，同会话 A/B 提速 1.1335× 且逐字节一致
作者在 RTX 5090 上对 64 层混合模型落地 CUDA Graph，nsys 量出发射空档 2.761 ms/token（16.87%），核心是把位置量从内核参数搬到设备。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。