这是一个创建于 177 天前的主题，其中的信息可能已经有所发展或是发生改变。
现在各个 AI 服务相关的公司都有越来越快、准、稳的 AI 服务（更好的模型可能是有次数限制的），在这种情况下，有必要自己在本地搭建模型吗？
简单总结了本地部署的优缺点：
优点：
- 数据安全性和隐私性
- 响应速度更快
- 没有次数限制
- 可自己定义模型
缺点：
- 需要硬件支持
- 噪音问题
- 电费
如果需要需要互联网访问，还存在以下问题：
- 需要有公网
- 网络安全问题
目前设备是 MacbookPro intel ，各个提供商的 AI 已经够我用了，但是考虑到以后的发展趋势，需不需要自己跑大模型？
如果要本地跑，那么应该就是换成 MacbooPro M3 Max 48G 内存的。
如果不本地跑，那么可能是 MacbooPro M4 Max 128G 或者 M2 Pro+组装台式机。
想咨询一下大家的意见，请问各位的建议是什么？
8 条回复 • 2024-05-16 18:12:45 +08:00
 |
1
dallaslu 177 天前
本地模型未必「响应速度更快」
|
 |
2
murmur 177 天前
除非有破除禁忌的需要，绝大多数人用本地模型都不如商业模型
|
|
3
murmur 177 天前
你都用 macbook 了还说什么公网和网络安全，不是搞笑么，你要说纯国产系统、内网开发，弄个局域网大模型还有点实际价值
|
 |
4
NoOneNoBody 177 天前
跑不动
尤其那些“8G 够用”的机器 |
 |
5
7eurvQrEtS OP 说反了，
如果不本地跑，那么应该就是换成 MacbooPro M3 Max 48G 内存的。 如果要本地跑，可能是 MacbooPro M4 Max 128G 或者 M2 Pro+组装台式机 |
 |
6
zmxnv123 177 天前
灰色行业的应用肯定都是本地部署 AI 模型的
|
 |
7
ZXiangQAQ 177 天前
跑本地模型当然更好，但是性能跟不上啊，本地跑跑小模型应该够用，但是 MacbookPro 和英伟达的高端显卡还是存在非常显著差距的
|
|
8
7eurvQrEtS OP 看来只需要 48G 的 mbp 就够用了，谢谢各位～
|
Select Language