ota
V2EX  ›  问与答

token 省钱有哪些点子?毕竟天下苦 3 大厂久矣。

  •  
  •   ota · 13 days ago · 958 views

    我暂时考虑自建或租用一个 gemma 模型 ,跑一些简单任务如 cron 定时查阅邮件这种。 毕竟 gemma 4B 性价比最高,然后将 agent 分层,智能敏感的大厂,中低端的给 gemma 。

    不准备本地搭建,对延迟不敏感。 顺便跑不可信 agent 准备用 smolvm ,相当于本地 serverless ,这样类似做了一层 sandbox ,强隔离。 当然,lxc 也可以,但对于不可信 agent ,最好短期内跑在 smolvm 里,后面再移到 lxc 中。

    服务器费用增加一点,维护成本增加一点。但我觉得至少能让 token 减少 1/3 的无效请求。

    其他还有什么优化方案?

    No Comments Yet
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   3042 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 28ms · UTC 00:35 · PVG 08:35 · LAX 17:35 · JFK 20:35
    ♥ Do have faith in what you're doing.