跳到正文
Reddit · r/SideProject· /u/Haunting_Honeydew123·· 3 小时前精选AI 评分63

Qwen3 4B 近满上下文内存测试:6GB GTX 1660 Ti 15 次运行

Qwen3 4B memory at near-full context: 15 runs on a 6 GB GTX 1660 Ti

AI 导读

作者在 6GB GTX 1660 Ti 上用 llama.cpp 运行 Qwen3 4B,完成 15 次测试,单会话 576 MiB、双会话 1152 MiB,全部未截断。

推荐理由

原文提供了 Qwen3 4B 在 6GB GTX 1660 Ti 上的内存使用记录,适合想评估大模型在低显存 GPU 上运行的开发者

来源:Reddit · r/SideProject · reddit.com