跳到正文
Reddit · r/SaaS· /u/Internal_Client6752·· 3 小时前AI 评分22

Reddit r/SaaS 讨论:AI token 账单太高,除了小模型分流、prompt caching 和自托管还有什么降本办法

Ai bills

AI 导读

一位开发者在 Reddit r/SaaS 发帖求助:自己的工具消耗大量 AI token,API 账单越来越高。他已尝试简单任务用较小模型、复杂任务用较大模型,并做了 prompt caching 和后端优化,也不介意响应变慢;考虑过用 Hugging Face 自托管模型替代小型 API 模型,但准确率令人失望,因此询问在不牺牲准确率的前提下还有哪些降低 AI 成本的做法,以及自托管是否可行。

来源:Reddit · r/SaaS · reddit.com