有没有可能做出一款这样的硬件：
类似路由器，用户购买后是一个本地的算力。比如 8G 显存的一个 minipc.
通过互联网，把所有买了同样设备的用户连接起来，共同跑一个 比如 120B 的大模型。
只有买了这个设备的用户可以无限的 使用这个 共创？算力？
类似路由器，用户购买后是一个本地的算力。比如 8G 显存的一个 minipc.
通过互联网，把所有买了同样设备的用户连接起来，共同跑一个 比如 120B 的大模型。
只有买了这个设备的用户可以无限的 使用这个 共创？算力？
 |
1
kongmeng12 1 天前 via Android
你只能提供百分之一的算力，却要无限使用这个模型？还是说你认为有一大部分的人买了这个设备，却极少或者压根不使用这个模型？
|
 |
2
106npo 1 天前 via Android  1
大模型用内存都嫌慢，你这还要跨互联网调用😱
|
 |
3
Solix 21 小时 42 分钟前
NV 发明 NVLink 是干啥的
 |
 |
4
dream7758522 20 小时 56 分钟前 via Android
你说的多个设备共同跑一个 120b 的大模型应该是不合适的。如果每台设备可以跑 120b 的大模型，把任务分解到各个设备上单独运行有点儿可行。但是任务调度是个问题。而且任务太大的话还要拆分。
|
 |
5
xialaoban 19 小时 13 分钟前
貌似有说法现在限制大模型的不是算力，是带宽
|
 |
6
laikicka 19 小时 13 分钟前 via iPhone
你真能跑通 openai 估计要收购你了
|
Select Language