V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
dododada
V2EX  ›  程序员

AI 服务器配置报价

  •  
  •   dododada · 197 天前 · 3359 次点击
    这是一个创建于 197 天前的主题,其中的信息可能已经有所发展或是发生改变。

    接上文,原先计划采购华为昇腾做适配,但是调研了一圈发现采购排产要一个月,模型适配时间无法预估,所以两条腿走路,继续用 4090

    浪潮给了个配置报价

    浪潮 NF5280M6
    cpu intel xeon 4316 * 2 内存 32g ecc* 8 硬盘 1.92T SATA SSD * 1 + 4T SATA2 GPU rtx 4090 * 2 电源 2700W2
    报价 83000

    有兄弟知道这个 4316 ,能不能发挥 4090 的最大性能

    硬盘不大,因为我们做视频分析,处理完就删掉了,所以对存储要求不高

    20 条回复    2024-04-25 11:59:42 +08:00
    defunct9
        1
    defunct9  
       197 天前
    当然能
    falsepromise
        2
    falsepromise  
       197 天前
    8 卡的 4090 现在一般都是搭配 Intel® Xeon® 铂金 8352V ,2.1GHz/36 核/72 线程/195W
    也见过搭配 Intel 8462Y+ 4th Generation Intel® Xeon®ScalableProcessors 2.8Ghz/32 核/64 线程/300w 这个的
    dododada
        3
    dododada  
    OP
       197 天前
    @falsepromise 我们用的两张卡,单台要控制在 10W 以内
    ktyang
        4
    ktyang  
       197 天前
    看你们的网络吃不吃 cpu 了。。。我们有个模型吃 cpu ,4090 使用率一直上不去。。。
    ktyang
        5
    ktyang  
       197 天前
    @dododada autodl 有台 10w 出头的 4 卡机器,我当时想买,被公司采购卡住了。。。
    lizhisty
        6
    lizhisty  
       197 天前
    @ktyang 为啥采购卡住了
    leidayu
        7
    leidayu  
       197 天前
    整机全新的?有点贵
    ktyang
        8
    ktyang  
       197 天前
    @lizhisty 公司采购不按我们提供的线索找供应商,只会找库里的供应商问配置,找几家供应商询价以后与初始预算相差较大。。。流程就打回了。。。
    dododada
        9
    dododada  
    OP
       197 天前
    @ktyang 再吃 cpu ,应该也比我们原先的那个 6133 要强,那个 U 也不知道怎么买的,导致 4090 利用率很低
    dododada
        10
    dododada  
    OP
       197 天前
    @leidayu 全新的机器
    dododada
        11
    dododada  
    OP
       197 天前
    @defunct9 我主要担心这个 4316 的 U 拖后腿
    winglight2016
        12
    winglight2016  
       197 天前
    4090 显存够吗?视频处理需要的显存比图片高多了
    tap91624
        13
    tap91624  
       197 天前
    需要双卡吗,4090 没 nvlink 挺伤的
    feirisu
        14
    feirisu  
       197 天前
    这俩 4090 能跑 70B 的 chat 模型吗
    ZedRover
        15
    ZedRover  
       197 天前
    我公司用的 5218R + 3 x A5000 ,感觉这个 CPU 太弱了,比 4316 差 0.25 左右,平时开 DDP 训练 num_workers 开到最大,训练速度上去之后 cpu 占用在 80% 左右,显卡没到瓶颈 cpu 已经不能再并行了。之前用 8380 有时候都感觉不够用,感觉最起码也要 8275 吧,并且 8275 性价比这么高 aws 之前很多都是用 8275
    dododada
        16
    dododada  
    OP
       197 天前
    @ZedRover 这台机器不做训练,只做推理分析,chat 模型暂时不考虑。Platinum 3 代有些贵。

    上面说的显存够不够的问题,目前一天处理 600-700 小时的视频。客户希望处理 7000 小时,这个到时候堆机器吧
    lm930129
        17
    lm930129  
       197 天前
    @dododada #9 6133 是当年阿里还是腾讯的定制 U ,量大。二手很便宜。如果你们是走采购的,买 6133 大概率是被坑了,这个 U 是给云服务器用的
    unknowsll
        18
    unknowsll  
       197 天前
    OP 如果对配置有疑问可以多找几个厂家报一下,目前硬件市场属于买方市场,dell H3C 安擎 宝德 硅基 那么一大堆呢,每家都出一份,你就知道市场行情了。云计算行业相关从业,目前项目上面用到的都是 G5 6348(2.6GHz/28 核/42MB/235W)CPU 模块(CTO&BTO)
    chesha1
        19
    chesha1  
       197 天前
    纯属把钱花到刀把上了,双卡 4090 要什么机架式服务器,还配那么大内存,居然要要 83000 ,你随便买个工作站放在脚边都能用双卡 4090

    可以参考一下这个报价,10w 就有 4 卡 4090 了
    chesha1
        20
    chesha1  
       197 天前   ❤️ 1
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   2804 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 21ms · UTC 14:01 · PVG 22:01 · LAX 06:01 · JFK 09:01
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.