现在各个 AI 服务相关的公司都有越来越快、准、稳的 AI 服务(更好的模型可能是有次数限制的),在这种情况下,有必要自己在本地搭建模型吗?
简单总结了本地部署的优缺点:
优点:
- 数据安全性和隐私性
- 响应速度更快
- 没有次数限制
- 可自己定义模型
缺点:
- 需要硬件支持
- 噪音问题
- 电费
如果需要需要互联网访问,还存在以下问题:
- 需要有公网
- 网络安全问题
目前设备是 MacbookPro intel ,各个提供商的 AI 已经够我用了,但是考虑到以后的发展趋势,需不需要自己跑大模型?
如果要本地跑,那么应该就是换成 MacbooPro M3 Max 48G 内存的。
如果不本地跑,那么可能是 MacbooPro M4 Max 128G 或者 M2 Pro+组装台式机。
想咨询一下大家的意见,请问各位的建议是什么?