掘金· Shockang·· 2 小时前精选AI 评分36
用 llama.cpp 本地跑 9B 模型：Odysseus 部署、工具调用与微调数据整理
llama.cpp 本地运行 9B 模型：部署、工具调用与微调数据
AI 导读
作者以 Odysseus 自托管工作区搭配 llama.cpp 和 9B 模型，梳理本地 Agent 的三层接口：推理服务加载权重、对话外壳发送工具定义、应用执行工具并回传结果。
推荐理由
原文把本地推理、工具调用和微调数据的接口与排错顺序都写清楚了，适合想自建本地 Agent 的开发者按步骤核对。
来源：掘金 · juejin.cn