如题，大家预计一下
前阵子看到 4 台 MAC 运行万亿参数模型的新闻，当前大致投入在 30 万 RMB 左右，大家预测一下几年后会实现低成本（5W 以下）本地部署万亿参数的模型？
andrew2558 · 16h 46m ago · 492 views |
1
NewYear 16h 36m ago
大模型成熟之后可以出 ASIC
也就是把算法和运算直接用电路芯片实现，由通用芯片改为专用芯片，成本非常低 速度快，贼省钱。 |
 |
2
newaccount 16h 33m ago
没意义，等到这个价格可以的时候，大家玩的已经是百万亿级别的了
|
 |
3
andrew2558 OP @newaccount 其实很多简单的任务达到万亿参数的模型就能解决了，模型参数更大的模型用于解决那些复杂的问题，两者不冲突
|
|
4
newaccount 16h 10m ago
@andrew2558 #3 不可能的，人总是贪婪的，看到有好的一定想要
比如现在有些 4B 模型在本地跑小任务一样可以完成的很好，但网上那么多大参数的可选，没人觉得“够用”就足够了 商用看成本，产出大于投入就可以干，别说 30w ，就是 300w 只要有用一样马上买，才不会等几年（当然 3kw 的另算，大额财务支出很头大的） 个人才去算经济账，本质上追求的是以一个较低的代价满足个人的小爱好，既然是爱好就会追求极端，总觉得这个结果不太好是不是因为我用的模型不够好，本地硬件只能落个吃灰的下场（冬天也可以当取暖器用） |
 |
5
0x64 11h 8m ago
手机就能本地跑 4B ，效果其实也还行
|
 |
6
Rorysky 3h 20m ago
不需要几年，现在就可以，极致量化的 dv4f
128GB mac 就能跑 |
Select Language