在 mac studio 、395 Max 和 DGX Spark 这几种设备考虑
本地部署的 coding 能力和效果,能接近 gpt-5.3-codex 吗?
如果本地部署的 coding 能力可以,我感觉可以让牛逼的模型 API 来创建分解任务,然后让本地执行。
1
superkite 2 天前
本地玩玩 ollama 和 lm 这种体验一下得了,和大厂训练出来的模型没得比
|
2
zxjxzj9 2 天前
我研究了一圈感觉最合适的就是以比较低的价格买 395max, 然后跑跑简单任务或者整点龙虾 Hermes agent 这种东西,干不来太多超长上下文的重活. 真的干重活老老实实买 api 套餐吧. 而且 395max 可以上 linux, 自己会折腾能释放出比原装更高一点的潜力.
DGX Spark 现在也有一定性价比,但是这机器本身三分之一的价格在网卡上, 只买一台根本用不到. 不过考虑到一张 5090 和 spark(gb10)方案的机器价格都差不多了, 所以真的要上还是值得上的. 这个对商用用户来说其实是更好的选择,因为很容易上集群,上了集群就可以自己训练.本身那个金灿灿的盒子颜值也很高. 然后就是苹果. 讲真苹果目前 m5 max 的性能是完全碾压其 a 和 n 两家的. 如果苹果能出 48G 版本的 m5 pro mac mini, 这个其实是最甜点的,普通人跑跑的模型差不多 48-96 这个版本就够用了. 而 m5 推理层可以用飞快来形容, 苹果的统一内存带宽也高,不训练只推理用苹果其实是最舒服的. 就是现在 studio 和 m5max 的价格太贵了,而且只有 macbook pro 也很难当一个随时待命的服务器. 算力最强的当然是 5090 ,但是功耗和价格摆在那里, 而且还有额外的装机成本. 如果真的手搓,还有个选择就是英特尔 b70 计算卡,但是 b70 也就是 32g,其他内存硬盘最近这价格硬顶到最后也很难比 aimax 便宜.如果硬盘内存价格能再回落一点可能 b70 会是纯推理性价比更好的选择. |
3
Suger828 2 天前
可以试试两个 512g 的 mac studio 部署 glm5.1
|
4
HHHans 2 天前
接近 5.3 想多了吧。。 顶多接近 3.5 的水平
|
5
ostrichb 2 天前
搞兩台 H200 部署全量的 GLM-5.1 差不多
|
6
diudiuu 2 天前
楼上说的买得那些,还是直接买 token 划算
|