V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
JiangNanLong
V2EX  ›  程序员

推荐一套深度学习服务器配置

  •  
  •   JiangNanLong · 329 天前 · 1869 次点击
    这是一个创建于 329 天前的主题,其中的信息可能已经有所发展或是发生改变。
    现在甲方要给我们买一个服务器用于跑深度学习算法,但是我不太懂这方面的配置,有没有懂的老哥给写一套配置,尽可能往高了提
    10 条回复    2024-01-11 14:52:12 +08:00
    poopoopoopoo
        1
    poopoopoopoo  
       329 天前   ❤️ 1
    Dell PowerEdge T550
    英特尔 6348 *2
    32G DDR4 ECC RDIMM 3200 *4
    NVIDIA RTX A6000 48G *2
    3.84T 固态 *4
    1400W 电源
    poopoopoopoo
        2
    poopoopoopoo  
       329 天前   ❤️ 1
    京东找一家店 说要求 配置单马上发过来了
    RangerWolf
        3
    RangerWolf  
       329 天前
    32G 我感觉会不太够~ 稍微多跑一点数据 128 都不一定压得住
    看具体需求
    RangerWolf
        4
    RangerWolf  
       329 天前
    啊 抱歉 我没看到后面的 *4 我傻了
    iorilu
        5
    iorilu  
       329 天前
    @poopoopoopoo 这套多少钱

    现在大模型火爆啊, 本地部署大模型已经流行了
    JiangNanLong
        6
    JiangNanLong  
    OP
       329 天前
    @poopoopoopoo 你太机智了 老哥
    iorilu
        7
    iorilu  
       329 天前
    我打算配一台丐版 AI 服务器, 配 4 个 4060 16G 的, 凑合玩玩

    有人这么配的吗, 说说经验啊
    kneo
        8
    kneo  
       329 天前 via Android
    预算多少啊?千万还是百万?
    Yuhyeong
        9
    Yuhyeong  
       329 天前
    建议单卡显存大一些,不是所有模型都适合分布式的,可以考虑 3090
    @iorilu
    coinbase
        10
    coinbase  
       328 天前
    这才是服务器配置
    服务器主板: S8030GM4NE (PCIEx4 * 5)
    CPU: AMD EPYC 9654
    显卡: 顶级 NVDIA A200
    内存: 三星服务器 256GB
    硬盘: SN640 8TB

    这一套下来,基本上可以卖辆 30 万的车了。
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   5752 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 23ms · UTC 02:50 · PVG 10:50 · LAX 18:50 · JFK 21:50
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.