掘金· 用户36005557900·· 9 小时前精选AI 评分43
Kestrel_VLLM 实测 CUDA Graph 落地 hybrid 路径，同会话 A/B 提速 1.1335× 且逐字节一致
Kestrel_VLLM - 29 · CUDA Graph 接到 hybrid 路径
AI 导读
作者在 RTX 5090 上对 64 层混合模型落地 CUDA Graph，nsys 量出发射空档 2.761 ms/token（16.87%），核心是把位置量从内核参数搬到设备。
推荐理由
为推理引擎开发者提供 CUDA Graph 落地全流程，含实测 1.13 倍加速、字节级回归验证与两大坑位复盘，需深厚 CUDA 功底。
来源：掘金 · juejin.cn