blueskeay 最近的时间轴更新
blueskeay
ONLINE

blueskeay

V2EX 第 406210 号会员,加入于 2019-04-25 20:40:47 +08:00
今日活跃度排名 297
blueskeay 最近回复了
@taotaodaddy 差不多符合预期,上下文再长一点缓存受益能拉到 0.8 左右/M
@noming 是 CF 的吗,我自己试了下 CF 是没问题的
@cdwyd 加了
@lifei6671 现在好了吗,我查了一下是远程压缩上下文的 ,但看起来似乎正常了?
现在是 4.5/55M ,看起来是正常的
@liuliuliuliu 暂时不行,过几天可能有
@lifei6671 已加
1.不是网页逆向不会降智
2.首字速度 P80 都在 1 秒以内,并发足够不会排队,api 有个 CN2GIA 的直连优化线路,超时的应该是 free 号池一直切号导致的
@qgswzmz 已加
@imnpc 已加
@MoozLee 累积消耗 1000+税点可以开票
语言模型兜底的情况下有对缓存做什么处理吗
比如上次请求体是 100K ,这次是 110K 只有 10K 的新 token ,这个情况能处理吗
关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   2527 人在线   最高记录 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 17ms · UTC 10:57 · PVG 18:57 · LAX 03:57 · JFK 06:57
♥ Do have faith in what you're doing.