掘金· Hayabusa·· 6 小时前精选AI 评分74
vLLM 8GB 显存跑 7B 大模型实战白皮书
8GB 显存跑 7B 大模型：vLLM 消费级显卡极限实战白皮书
AI 导读
作者在Windows笔记本RTX40608GB显卡上，使用vLLM0.33.0与4-bitAWQ/Qwen2.5-7B模型，通过限制显存利用率、设定max-model-len8192与enforce-eager参数，成功跑通7B模型并在8192上下文下保持约7.3GB显存占用。
推荐理由
原文提供完整的复现脚本、硬件基线与针对8GB显存的参数调优方法，适合想在普通笔记本上跑7B模型的开发者实操。
来源：掘金 · juejin.cn