ShadowPower

> 整个市场加起来可能一年都没一个 iPad 卖的多
真相了……

我估计现在买台式机的人，要么是游戏玩家，要么用来完成工作。
除了数码爱好者买来尝鲜，这个群体不会因为 mac mini 价格低了就去买一台，除非原先就使用 mac 。

以前还有黑苹果用户，硬件价格方面，就和普通的 PC 一样。他们有可能会从黑苹果换到 mac mini ，但按操作系统来统计的话，还是从 macOS 换到了 macOS 。

@x86 那也太奢侈了

我现在差不多就是这个情况。
用肯定能用，但是 IDEA 里插件不敢多装，网页标签页开太多的话，切换会有延迟。
内存压力始终是黄色的，哪怕 swap 不高的时候也是，不知道为什么（大概是内存压缩解压太频繁了）。
完全不敢开虚拟机/Docker ，只能用远程服务器上的。不然能让内存压力达到红色。
总体来说，用着不爽……

@BernieDu
你用 DeepSeek 的话，那就好办了。
你应该这么问 DeepSeek：

---------------

这是 LLAMA 模型的尺寸信息：
'llama3_70b': dict(
base_model='llama3_8b',
vocab_size=128256,
hidden_size=8192,
intermediate_size=28672,
num_hidden_layers=80,
num_attention_heads=64,
num_key_value_heads=8,
max_position_embeddings=8192,
rms_norm_eps=1e-5,
rope_theta=5e5,
),

双显卡跑 LLAMA 70B 模型，batch_size=1 ，模型拆分到两块显卡上，采用流水线并行。激活值精度为 float16 ，计算生成单个 token 时，两块显卡之间前向传播数据大小。

-----------------

它给你算出一个大小，然后，PCIe 4.0 x16 的带宽大约有 32GB/s ，用带宽除以每 token 传输的数据量，就可以算出这个瓶颈会限制 Token/s 到多大了。

@BernieDu 我现在用来跑 LLM 的显卡，实际 PCIe 带宽是 7.88GB/s （用的平台太老），显卡的显存带宽是 288GB/s ，跑 5bpw 量化 14B 模型实际有 28 token/s

@BernieDu
PCIe 接口在推理的过程中，传输的数据只有用户输入的文本和模型返回的文本（一次一 Token ）
多卡的话，再加上一些层与层之间传输的信息以及一些上下文更新信息，也非常少

吃的带宽都是 GPU-显存之间的带宽，这部分不走 PCIe 。为什么吃：因为生成一个 Token 就得访问一次所有激活参数。但你需要注意的是，这是 GPU 访问自己负责的那部分参数，多 GPU 也不会需要 A GPU 去访问 B GPU 上的显存。

如果用 NVIDIA 以前的 SLI 技术，那倒是会有上面说的情况。但跑模型并不采用这种技术方案，AI 工程师不会那么蠢……

@Fdyo 那太好了