有生之年有可能吗。
1. 硬件价格打下来。
2. LLM 开源模型能媲美顶尖模型
1. 硬件价格打下来。
2. LLM 开源模型能媲美顶尖模型
13 条回复 • 2026-03-09 14:28:18 +08:00
 |
1
sagnitude 3 小时 41 分钟前
现在就可以啊。mac studio m3 ultra 四台联机，2T 内存，轻松部署 kimi k2.5 ，你要是日常用的话 mac mini 部署个小模型就行了
|
 |
2
stinkytofux 3 小时 39 分钟前
完全有可能, 而且这个需求会被极大的推动. 因为不想数据泄露, 不管是个人还是公司, 都有私有部署大模型的需求.
|
 |
4
msg7086 3 小时 29 分钟前
顶尖模型需要非常高的成本来训练
如果顶尖模型开源，谁来付高昂的训练费用 没有资金的支持，模型怎么保持在顶尖位置 得等到了模型瓶颈期了，很难提高了，没有发展了，泡沫破裂了，大批公司倒闭了，那有机会。 |
|
5
msg7086 3 小时 20 分钟前
顺便一提，家用 NAS 是一种成本很低的东西。不追求产量低的精致成品 NAS ，只是随便搭一下的话，弄台旧电脑装个系统就起来了，笔记本插 USB 硬盘也不是不行。
自建小型 LLM 设备那就是用很大的初期投入换很低的性能或质量。 现在家用级别你配置拉满 128GB 统一内存 AMD AI 平台也就跑 70B-120B 规模的模型。 差不多相当于一个 Gemini 3.0 Flash 的水平，但后者现在的运行速度是本地部署的 10 倍以上了。 |
 |
6
bigmomo 2 小时 59 分钟前
恐怕得十年起步
|
 |
7
yukinotech 2 小时 34 分钟前
把模型刻在内存里，把模型推理结构刻到芯片里，已经有了
|
 |
8
unusualcat 2 小时 12 分钟前
现在家用级别你配置拉满 128GB 统一内存 AMD AI 平台也就跑 70B-120B 规模的模型。
家用 NAS 的 AMD CPU 怎么能跑得起来 70-120B 的模型呢？ 我笔记本 GTX 1060 6GB 独立显存，40GB RAM ，ollama 本地跑 8b 的模型都勉强啊，只能说能用。速度明显感觉卡慢 |
 |
9
lujiaosama 2 小时 4 分钟前
@yukinotech 专用硬件?相当于一个固化版本的本地大模型? 如果价格足够便宜确实是值得考虑的.
|
 |
10
jackOff 1 小时 18 分钟前
@yukinotech 这个好像有缺陷，无法升级，只能不停的买新的硬件
|
 |
11
dajj 1 小时 5 分钟前
直接调接口就行了，何必非得本地运行模型。 如果你担心隐私，找个不要你隐私的，比如 cloudflare
|
 |
12
raysonlu 20 分钟前
这么说吧，80 年前第一台计算机有差不多 4 个教室大，而当时的计算机甚至还不能玩贪吃蛇和扫雷。照这么看还是有盼头的。
|
 |
13
gpt5 6 分钟前
或许 ai 更像电力，我们没必要每个人都开一个发电厂。
|
Select Language