类似 CDN 一样的 AI AGENT 硬件能不能玩得转呢？

爱意满满的作品展示区。

This topic created in 50 days ago, the information mentioned may be changed or developed.

有没有可能做出一款这样的硬件：
类似路由器，用户购买后是一个本地的算力。比如 8G 显存的一个 minipc.
通过互联网，把所有买了同样设备的用户连接起来，共同跑一个比如 120B 的大模型。
只有买了这个设备的用户可以无限的使用这个共创？算力？

6 replies • 2026-04-07 10:18:10 +08:00

kongmeng12

Apr 7 via Android

你只能提供百分之一的算力，却要无限使用这个模型？还是说你认为有一大部分的人买了这个设备，却极少或者压根不使用这个模型？

106npo

Apr 7 via Android

大模型用内存都嫌慢，你这还要跨互联网调用😱

Solix

Apr 7

NV 发明 NVLink 是干啥的

dream7758522

Apr 7 via Android

你说的多个设备共同跑一个 120b 的大模型应该是不合适的。如果每台设备可以跑 120b 的大模型，把任务分解到各个设备上单独运行有点儿可行。但是任务调度是个问题。而且任务太大的话还要拆分。

xialaoban

Apr 7

貌似有说法现在限制大模型的不是算力，是带宽

laikicka

Apr 7 via iPhone

你真能跑通 openai 估计要收购你了