mlx-lm 微调 Qwen2.5-1.5B 并转 GGUF 本地部署
热点事件持续更新
mlx-lm 微调 Qwen2.5-1.5B 并转 GGUF 本地部署
1 篇报道1 个报道来源19 小时前更新
先了解这件事
AI 综述
作者以 Qwen2.5-1.5B-Instruct 的 MLX 4-bit 量化版为基础，用 mlx-lm 做 LoRA 微调，再经权重融合、反量化、Tokenizer 修复和 llama-quantize 转成 Q8_0 的 GGUF，最终用 llama-server 以 OpenAI 兼容接口提供本地服务。 这是一套在 Apple Silicon 上从微调到 GGUF 部署的完整流程，目标是用本地模型支撑读书助手。
AI 根据报道生成 · 1 小时前更新
最新进展10月20日 18:21
在 Apple Silicon 上用 mlx-lm 微调 Qwen2.5-1.5B 并转 GGUF 部署读书助手报道时间线
沿着报道，了解事件的不同侧面。
10月20日
- 掘金精选在 Apple Silicon 上用 mlx-lm 微调 Qwen2.5-1.5B 并转 GGUF 部署读书助手
作者以 Qwen2.5-1.5B-Instruct 的 MLX 4-bit 量化版为基础，用 mlx-lm 做 LoRA 微调，再经权重融合、反量化、Tokenizer 修复和 llama-quantize 转成 Q8_0 的 GGUF，最终用 llama-server 以 OpenAI 兼容接口提供本地服务。
本事件热度走势
还没有足够的连续观测数据，暂不绘制趋势。