V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
jdjingdian
V2EX  ›  Local LLM

本地部署靠不靠谱?

  •  
  •   jdjingdian · 2 天前 · 530 次点击

    在 mac studio 、395 Max 和 DGX Spark 这几种设备考虑

    本地部署的 coding 能力和效果,能接近 gpt-5.3-codex 吗?

    如果本地部署的 coding 能力可以,我感觉可以让牛逼的模型 API 来创建分解任务,然后让本地执行。

    第 1 条附言  ·  2 天前
    我是感觉以后可能每个月买 token 都要 200 刀左右了,想着能不能本地搭建降低 API 成本,看楼上老哥们的分析,感觉是不是当前本地部署的效果还不是那么靠谱
    superkite
        1
    superkite  
       2 天前
    本地玩玩 ollama 和 lm 这种体验一下得了,和大厂训练出来的模型没得比
    zxjxzj9
        2
    zxjxzj9  
       2 天前
    我研究了一圈感觉最合适的就是以比较低的价格买 395max, 然后跑跑简单任务或者整点龙虾 Hermes agent 这种东西,干不来太多超长上下文的重活. 真的干重活老老实实买 api 套餐吧. 而且 395max 可以上 linux, 自己会折腾能释放出比原装更高一点的潜力.

    DGX Spark 现在也有一定性价比,但是这机器本身三分之一的价格在网卡上, 只买一台根本用不到. 不过考虑到一张 5090 和 spark(gb10)方案的机器价格都差不多了, 所以真的要上还是值得上的. 这个对商用用户来说其实是更好的选择,因为很容易上集群,上了集群就可以自己训练.本身那个金灿灿的盒子颜值也很高.

    然后就是苹果. 讲真苹果目前 m5 max 的性能是完全碾压其 a 和 n 两家的. 如果苹果能出 48G 版本的 m5 pro mac mini, 这个其实是最甜点的,普通人跑跑的模型差不多 48-96 这个版本就够用了. 而 m5 推理层可以用飞快来形容, 苹果的统一内存带宽也高,不训练只推理用苹果其实是最舒服的. 就是现在 studio 和 m5max 的价格太贵了,而且只有 macbook pro 也很难当一个随时待命的服务器.

    算力最强的当然是 5090 ,但是功耗和价格摆在那里, 而且还有额外的装机成本. 如果真的手搓,还有个选择就是英特尔 b70 计算卡,但是 b70 也就是 32g,其他内存硬盘最近这价格硬顶到最后也很难比 aimax 便宜.如果硬盘内存价格能再回落一点可能 b70 会是纯推理性价比更好的选择.
    Suger828
        3
    Suger828  
       2 天前
    可以试试两个 512g 的 mac studio 部署 glm5.1
    HHHans
        4
    HHHans  
       2 天前
    接近 5.3 想多了吧。。 顶多接近 3.5 的水平
    ostrichb
        5
    ostrichb  
       2 天前
    搞兩台 H200 部署全量的 GLM-5.1 差不多
    diudiuu
        6
    diudiuu  
       2 天前
    楼上说的买得那些,还是直接买 token 划算
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   1236 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 33ms · UTC 17:45 · PVG 01:45 · LAX 10:45 · JFK 13:45
    ♥ Do have faith in what you're doing.