人人都是产品经理· Ai学习的老章·· 2 小时前精选AI 评分61
首个记忆原生大模型开源,36B 本地部署实测:成功把规矩刻进脑子
首个记忆原生大模型开源,36B 本地部署实测:成功把规矩”刻”进脑子
AI 导读
MemT-1.0 是首个记忆原生大模型,作者在单卡 A100 80G 上部署 36B Nano 版,注入四条金融支付规则后,模型仅用 200 MiB 内存即可记住并生成符合规范的接口代码。部署只需模型权重、SGLang 0.5.16 以及 80 GB GPU,代码示例已公开。实验显示记忆模式比无记忆快 40% 以上,但仍需人工审查代码细节,且内存容量有限,长轮对话可能出现细节遗失。
推荐理由
原文详细展示 MemT-1 的部署流程、显存占用与实测效果,适合想在本地部署记忆型大模型的技术人员参考。
来源:人人都是产品经理 · woshipm.com