掘金· wangfpp·· 19 小时前精选AI 评分38
在 Apple Silicon 上用 mlx-lm 微调 Qwen2.5-1.5B 并转 GGUF 部署读书助手
本地大模型微调与 GGUF 部署全指南
AI 导读
作者以 Qwen2.5-1.5B-Instruct 的 MLX 4-bit 量化版为基础，用 mlx-lm 做 LoRA 微调，再经权重融合、反量化、Tokenizer 修复和 llama-quantize 转成 Q8_0 的 GGUF，最终用 llama-server 以 OpenAI 兼容接口提供本地服务。
推荐理由
面向有 Mac 的开发者，把 LoRA 微调、GGUF 转换和端侧部署的命令与踩坑点都写全了。
来源：掘金 · juejin.cn