oldlamp

oldlamp

V2EX member #198842, joined on 2016-10-28 18:58:13 +08:00
Today's activity rank 11379
Per oldlamp's settings, the topics list is hidden
Deals info, including closed deals, is not hidden
oldlamp's recent replies
@wises

带佬真棒,我也是类似的配置,您这个很有参考意义,比很多盲目说「无意义」的真无意义回复强太多了。
https://mp.weixin.qq.com/s/L2LcEMOrHCl1qFpWZob08Q

用不同量化规模,可能就配置不一样,如果有的人把量化过度污名化,恐怕也有点儿过分

参考网上的配置,我测试过 5060ti 16G +64G ( 32G*2 ),也能达到 50tokens/s 以上,而且用的是 IQ3S 的,感觉也不算多笨。
有可能是量化的问题?
Sep 25
Replied to a topic by zzutmebwd › Local LLM › pro6000 部署 Qwen 3.8 flash next nvfp4
@coefu

我现在换 halogen-qwen3.8-flash-next ,长链工作还对付,能有 30-40tokens/s 的 decode ,上下文只能有 262144 ,反正还对付了。
@tencentcloud

感谢感谢,话说界面如果可以进一步简化就好了,找入口好难啊。

另外请教一下,以后如果不续费,用本地模型,还需要消耗积分么?还能进行移动端的设备访问和管理么?
如果是 27b 的稠密模型,速度还不如 7900xtx ,同样预算下如果有两个 R9700 也是不错的选择。
可惜是三元锂电池了,不考虑了。
@fairytale 求给细讲一下
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   3256 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 12ms · UTC 14:12 · PVG 22:12 · LAX 07:12 · JFK 10:12
♥ Do have faith in what you're doing.