V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
V2EX  ›  anyutianmin  ›  全部回复第 1 页 / 共 1 页
回复总数  5
qwen3.8 的哪个模型? 27b 的话,最便宜的方案应该是 170hx ,解锁的 64G ,现在涨价了,2W ,配个垃圾的 U ,16G 内存,差不多 2.5W 搞定,开 MTP 应该能达到 60 多 TPS ,够一两个人一起用爽了;不过这卡没有 NV 的质保,差不多价格的话,上 4090 ,现在快 3W 了,应该能刚好达到 3W 以内的要求,不过只能上 fp4 量化的版本。

3.8 flash 的话,用 fp4 量化也能上,也是一张卡。

如果要上 ds v4.1 的话,七百多 B 的参数量,其实已经不能算 flash 这一档的模型了,五百多 G 的显存,如果都用显存跑的话,基本得八卡才行。不过看场景,如果只是要部署对 tps 没有要求,用内存甚至 SSD 跑的方案会便宜很多;不过基本是没法用;其实这种更推荐上 ds v4 flash 或者 glm 5.3 flash ,不知道 m3.1 flash 多大,部署这些模型反而更划算。
@bzkmsjy 语音输入+AI 财务?这个做出来有需求吗?
codex 不会也像 zcode 一样打包代码上传吧
9 月 7 日
回复了 snownemo 创建的主题 › Codex › Codex 又有 1000 邀请额度了,有条件的留邮箱
借楼,同样 1000 额度,需要的 @我
8 月 11 日
回复了 andrewz 创建的主题 › 程序员 › GLM 老 pro 会员, token 吞吐率慢的可怜
@wang93wei 大佬这个 decode 的统计的地址是啥呀
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2196 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 15ms · UTC 01:04 · PVG 09:04 · LAX 18:04 · JFK 21:04
♥ Do have faith in what you're doing.