zx94438011
V2EX  ›  硬件

对着超微的实拍,把 Vera Rubin NVL72 机柜的正面和背面认了一遍

  •  
  •   zx94438011 · 4h 32m ago · 134 views

    超微 9 月 23 日说 Vera Rubin NVL72 机柜开始出货,同时放了正面和背面的实拍。以前看到的多是渲染图,这次是真机。我对着照片把里面的东西认了一遍,写下来大家一起看,有认错的请指正。

    Vera Rubin NVL72 正面和背面

    (图源:Supermicro 官方实拍,左边正面,右边背面)

    正面,从上往下

    1. 最上面一台管理交换机。蓝色的线看走向,应该是从它拉到各个托盘的管理网线
    2. 一组电源架
    3. 10 个计算托盘,每个 1U ,里面是 4 颗 Rubin GPU 加 2 颗 Vera CPU
    4. 中间浅色的一段,是 9 个 NVLink 交换托盘,把 72 颗 GPU 连成一体
    5. 再往下 8 个计算托盘,和上面合起来 18 个
    6. 最下面又一组电源架

    背面

    1. 供电线缆从顶部进来
    2. 中间一整片是 NVLink 铜缆背板。计算托盘和交换托盘靠它互连,所以正面看不到 GPU 之间的线
    3. 两侧立柱上下走着一排橙黑色的线缆。具体是什么线,超微没说,我不乱猜
    4. 最下面两个大接头是冷却液接口,接机房的冷却回路

    一个机柜的数字

    • 72 颗 Rubin GPU ,36 颗 Vera CPU
    • HBM4 合计 20.7TB ,另有最多 54TB 的 LPDDR5X
    • 整柜全液冷。机房一侧配行间 CDU ,单台 1.8MW
    • 16 个机柜算一个扩展单元:1,152 颗 GPU ,331TB HBM4
    • 超微说首批从圣何塞工厂发往 SpaceXAI

    几点感受

    1. 现场能换的单位是托盘和电源模块。 GPU 、CPU 、内存都在托盘里,坏了应该是整个托盘抽出来换,不是在现场换某一颗芯片。
    2. 这柜子对机房的要求比对人的要求高。 没有液冷回路和够用的供电,柜子到了也开不了机。
    3. 线少了很多。 GPU 之间的互连全收进了背板,正面只剩管理网线,比用 8 卡机一台台堆出来的集群干净得多。

    部件名称是我对照公开规格认的,以厂商资料为准。数字来自超微的新闻稿和 StorageReview 的报道。

    有人在机房里见过实物吗?背面两侧那些线到底是什么,想听懂的人说说。

    No Comments Yet
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   722 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 21ms · UTC 21:24 · PVG 05:24 · LAX 14:24 · JFK 17:24
    ♥ Do have faith in what you're doing.