跳到正文
V2EX · 分享创造· qshine·· 3 小时前精选AI 评分66

开发者开源中文手册:单张 4090 从零跑通 QLoRA 微调与 vLLM 部署

写了本开源中文手册:一张 4090 从零走通 QLoRA 微调 + vLLM 部署,给不做算法的开发者

AI 导读

作者 qshine 发布开源中文手册,记录在单张 RTX 4090(24 GB)上从零完成 Qwen3-4B-Instruct-2507 的 QLoRA 微调、BF16 合并、vLLM 部署为 OpenAI 兼容 API 并压测的全链路。

推荐理由

手把手教单张 4090 跑通 QLoRA 微调到 vLLM 部署,附可运行 Notebook 与真实排错记录。

来源:V2EX · 分享创造 · v2ex.com