V2EX · 分享创造· qshine·· 3 小时前精选AI 评分66
开发者开源中文手册:单张 4090 从零跑通 QLoRA 微调与 vLLM 部署
写了本开源中文手册:一张 4090 从零走通 QLoRA 微调 + vLLM 部署,给不做算法的开发者
AI 导读
作者 qshine 发布开源中文手册,记录在单张 RTX 4090(24 GB)上从零完成 Qwen3-4B-Instruct-2507 的 QLoRA 微调、BF16 合并、vLLM 部署为 OpenAI 兼容 API 并压测的全链路。
推荐理由
手把手教单张 4090 跑通 QLoRA 微调到 vLLM 部署,附可运行 Notebook 与真实排错记录。
来源:V2EX · 分享创造 · v2ex.com