V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member  Sign In
V2EX  ›  TGOcc  ›  全部回复第 1 页 / 共 3 页
回复总数  41
1  2  3  
1 天前
回复了 TGOcc 创建的主题 宽带症候群 宽带限速及网络连通性讨论
@linhu66 重做数据模版是个啥意思,是装维后台操作吗?还是要上门解决?
@techhe 不正常吧,我 32g 内存,跑 Qwen3.6-35B-A3B-4bit 速度还不错。


oMLX - LLM inference, optimized for your Mac

Benchmark Model: Qwen3.6-35B-A3B-4bit
Engine: Auto
================================================================================

Single Request Results
--------------------------------------------------------------------------------
Test TTFT(ms) TPOT(ms) pp TPS tg TPS E2E(s) Throughput Peak Mem
pp1024/tg128 1265.0 15.99 809.5 tok/s 63.0 tok/s 3.296 349.5 tok/s 19.20 GB
pp4096/tg128 6128.9 16.64 668.3 tok/s 60.6 tok/s 8.242 512.5 tok/s 19.89 GB

Continuous Batching
pp1024 / tg128
--------------------------------------------------------------------------------
Batch tg TPS Speedup pp TPS pp TPS/req TTFT(ms) E2E(s)
1x 63.0 tok/s 1.00x 809.5 tok/s 809.5 tok/s 1265.0 3.296
2x 119.1 tok/s 1.89x 461.2 tok/s 230.6 tok/s 2847.9 6.591
4x 235.4 tok/s 3.74x 370.4 tok/s 92.6 tok/s 6131.4 13.234
2 天前
回复了 TGOcc 创建的主题 宽带症候群 宽带限速及网络连通性讨论
@zlkent 商宽你可以报修或投诉,后端应该能解决。
你老婆是孕妇啊,那你有再多的理由来讨论这事,也说不过去啊,怀孕的人,身体激素心理状态就不是一个正常状态,需要更多的心理关怀跟照顾,你很累没错,但这种洗碗上的小事担当一下,又是在特殊时期,你还计较。唉,你继续计较吧。
个人的分析只是说可能性,你老婆可能的心态,你加班忙,缺少交流,缺少家庭互动参与,你不吃饭但要你洗碗收拾家务,不一定是她自己懒的洗,有时女人的心态是复杂多变的,就是要那个感觉,就是要你做她认为或在意的事情,做了就你好我好,不做不是事情本身有没有做,而是心态上的不舒服,这是的一种表达方式。都结婚了不可能对自己老婆一点性格情况都不了解。婚姻生活时间长了很多时候就是妥协,是谁将就谁多一点少一点谁包融的多点少点,长期的一个磨合双方找到契合点。如果站在对立的状态看事情,大部分的矛盾都发生在家务或生活琐事上。你赢了或她赢了又能怎么样,生活过的一地鸡毛。你真不想每天洗,可以沟通一半的时间她洗一半你洗,具体执行时间再灵活机动分配。结婚找对象又不是找保姆,哪能事事随自己心意啊。换位来说如果每天你能回家吃饭,你再洗碗是不是心理上就没啥抱怨了。
@tubanwu 现在二手也不便宜啊,能抢到新发的话,搞不好价格贵不了太多性能提升大。数码电子类产品买新不买旧。
@xubeiyou 实用上来讲,免费的模型都已经够我日常使用了。

@felixcode 折腾的过程也挺有意思的,就像买无人机,飞的不多(现在的新规就更少飞了),也拍不出别人的大片感觉,但这中间花的时间学习跟试错都挺有意思。
@quantum00549 是的,关键是能不能适配自己的使用场景。
@wu67 可能算是伪需求吧,有时就是折腾,喜欢那个折腾的过程,在不停的折腾中学习跟享受过程,就像钓鱼佬(没贬义的意思),买器材的钱,能买多少鱼是一个道理。
@ETiV 512G 版本太高端了,要做生产力工具,预算也够的冲没问题啊,真是探索学习,或是兴趣爱好,这成本太高了。在内存硬盘涨价的今天,价格肯定不会低于之前 512G 的版本吧。
@paopjian 不存在后悔吧,大内存版本当家用机器也能战个四五年没问题,再加上可能升值的期待。不升值自己用,升值就转手。也就没后悔一说。很多时候买一件某件东西是冲动消费,可能实际使用需求只有 10%-30%。就跟换手机一样,有人一年一换,也有二年三年一换,还有不坏就不换。我不是绝对理性,对数码电子产品有兴趣,关注投入就多些。(如 AR 眼镜、无人机、数码相机、电子阅读器)大彊还没这么大时,还众筹过一款掌上无人机。
@jhytxy 没打算当生产力工具,台式机有一张 3080 ti 12G 的卡,也能跑一些小点的模型。mac 生态联动上挺方便。


@keyu1103 现在应该二手上十几万了吧


@ETiV M5 Ultra 512G 新发价格肯定不便宜吧,除非当理财去买,风险不好说。能自己用或转手两个平衡一点,心态也会好些。
厉害了,加油支持!
4 天前
回复了 TGOcc 创建的主题 宽带症候群 宽带限速及网络连通性讨论
@coyboy911 我是老套餐升级,原来就是桥接使用,在升之前确认可以桥接才升的,不过手续还是麻烦的,退云宽带要跑营业厅。有网友说不退云宽带也可以申请公网 ip ,没尝试过,还是桥接用的爽。
4 天前
回复了 TGOcc 创建的主题 宽带症候群 宽带限速及网络连通性讨论
@xpsnet 应该是有专门的设备吧,精准限速,估计越大的城市更新设备越快,被限的可能就越大。
5 天前
回复了 TGOcc 创建的主题 宽带症候群 宽带限速及网络连通性讨论
@yeh 我是先办理好套餐,再退的云宽带,桥接拨号,iptv 是自己搞了组播,精品网如果拨到 58.32 网段的话延迟在 30-40ms ,走 jp 或 usa 没太大区别,如果拨到 58.41 网段,延迟就到了 60ms 起步,新开视频时打开速度能感觉到差异。最拉的是 218 网段,最差。
5 天前
回复了 TGOcc 创建的主题 宽带症候群 宽带限速及网络连通性讨论
@coyboy911 我办完后给的大内网,但我办理前就要桥接也就没申请公网 ip 一说了,桥接能做的事情更多。上行速率高在远程访问时还是爽的,看自己的使用需求吧。2000M 下行在 90%场景跑不满也用不到。
8 天前
回复了 TGOcc 创建的主题 Local LLM Mac book air M5 32G+1TB 能跑本地大模型?
```html
<pre>
oMLX - LLM inference, optimized for your Mac
Benchmark Model: mlx-community--diffusiongemma-26B-A4B-it-4bit
================================================================================

Single Request Results
--------------------------------------------------------------------------------
Test TTFT(ms) TPOT(ms) pp TPS tg TPS E2E(s) Throughput Peak Mem
pp1024/tg128 1246.4 22.51 821.6 tok/s 44.8 tok/s 4.105 280.6 tok/s 14.23 GB
pp4096/tg128 4422.4 23.73 926.2 tok/s 42.5 tok/s 7.436 568.0 tok/s 14.69 GB

Continuous Batching
pp1024 / tg128
--------------------------------------------------------------------------------
Batch tg TPS Speedup pp TPS pp TPS/req TTFT(ms) E2E(s)
1x 44.8 tok/s 1.00x 821.6 tok/s 821.6 tok/s 1246.4 4.105
2x 88.9 tok/s 1.98x 368.4 tok/s 184.2 tok/s 3461.1 8.438
4x 176.9 tok/s 3.95x 296.4 tok/s 74.1 tok/s 7492.6 16.713
</pre>

最新的 diffusiongemma-26B-A4B-it-4bit 模型测试,速度挺快,有一定的实用化了。
9 天前
回复了 sdcg1994 创建的主题 宽带症候群 你们的上海联通 9929 都还好吗
@dizhang 我的建议是你用普通帐号拨号,使不使用没关系,普通号宽带在线,等一到两周后你换回 vip 拨号。我试过两次,都是有效的。
11 天前
回复了 TGOcc 创建的主题 Local LLM Mac book air M5 32G+1TB 能跑本地大模型?
@coefu 就是因为 ai 的应用,苹果大内存的二手 MAC 已经被炒的价格太高了,今天凌晨的发布会还以为会发 M5 新款,没想到主要是讲 ai 应用,国内还用不了。看了个寂寞,从 iphone15 吹到 17 了还没搞定国内版。
1  2  3  
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   985 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 24ms · UTC 18:34 · PVG 02:34 · LAX 11:34 · JFK 14:34
♥ Do have faith in what you're doing.