rizon's recent timeline updates
rizon

rizon

V2EX member #305534, joined on 2018-04-02 23:53:39 +08:00
微信公众号: 奕象派研究社

JustMark - AI 零负担 收藏夹
https://justmark.app/

Noteloom - 基于画板的 AI Agent 生产力平台
https://noteloom.app/
云服务器部署 claude self-host 的最佳方案是什么
程序员  •  rizon  •  Aug 15  •  Lastly replied by hi9527
1
claude code desktop 的 rewind 功能无法回滚代码
Claude  •  rizon  •  Jul 27  •  Lastly replied by SethShi
7
为什么我的 GPT live 模型不能做到全双工对话
程序员  •  rizon  •  Jul 16  •  Lastly replied by JZen
8
rizon's recent replies
@sommio 请问知道 ds 今天什么时候正式上线吗,交流群也进不去了,网上没任何消息,我打算今天切 ds 试试里
@zedpass 3.7plus 带 tools 的请求会出现输出截断,finish_reason 重复出现两条的异常问题。反馈售后了,还没结论。 以前没事,这两天突然这样了。
@lovelive1024 嗯嗯,谢谢,看到了。明天试试。不知道它的视觉版内部怎么实现的,结构化输出支持的不太完善,倒不是太大问题。
@sommio 谢谢推荐 ds ,没想到都出了 vision 版了。明天做一下线上 case 回归看看。

视觉版本的结构化输出支持上不完善。不过倒不是很大的问题。
@sommio 我看看 4.1 这个。 确实微调最好。但是 GPU 成本感觉有些高,一个 27b 以上模型满足并发和 ttft 需求的话 gpu 成本也不低
@suxiaozi
@tianjiyao
看到大家都是这个共识我就放心了,我一直以为是自己工程上做的还是不够好。不然怎么一直没看到人说国产不好,我一度怀疑是自己的问题
@wy315700 可以给推荐一下。ttft 足够低,最好是支持视觉理解的。
@ReinXD
@lovelive1024
ds 是纯文本模型,不是多模态的。这就导致图像类的请求我得路由到其他模型或者图片转文字(损失细节)。所以只能说没什么更好的选择的话只能考虑 ds 了。
@dryadent
@crackself 哎,没得选啊,实时对话产品延迟敏感, 还有成本问题。如果有好的低延迟、低成本的 gpt 模型选择就好了。
@maocat 哈,是有这个问题,所以按说还得加自定义代理功能。另外我后面打算支持在服务器终端上跑,这样延迟测试也更准一些
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   5770 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 24ms · UTC 06:21 · PVG 14:21 · LAX 23:21 · JFK 02:21
♥ Do have faith in what you're doing.