上了年纪就是这样，有怀旧情结了。谷歌地球最早可以到 2002 年的长沙，可能是湖南省最早的了。地级市大概在 2013 ～ 2014 最早。

@diudiuu #8 太 tm 悲催了，我因为用错了电源线，把 amd mi50 的 hbm2 显存给烧了。以后坚决不买这种小众的东西了，电源线都找不到。还得是一分钱一分货。内存差价这种钱，果然还是赚不得。

@KaiWuBOSS #23 甚至是异构模型，也是可以的，只是中间要搞转换。转换的这个事情，可能更简单一点。

@KaiWuBOSS #23 我突然想起了 https://arxiv.org/abs/2511.20639 ，Latent Collaboration in Multi-Agent Systems

你可以用多个同源 9B 的模型，解决一些不确定性。

@diudiuu #4 其实对于这些细节，我也是一知半解的，我没沉下去细究过。😏

我去年囤了几条内存，今年出手赚了点差价，换了一个 amd mi50 32G ，最近都在折腾它。哎，一分钱一分货，早知道加点钱搞 v100 32G 了，折腾的太麻烦了。把我之前的主力机主板都搞崩了，就很烦。

你做的这个事情，很好，我目前帮不到什么忙。

@KaiWuBOSS #20 我的经验就是，不要一早就立一个宏大到一眼看不到头的 flag 。 目标放的低一点，日拱一卒的去做，反而比一开始就冲锋，可能效果会更好。你一早就对标 cc ，那么期望值必然太高，各种达不到的预期会冲抵这份积极性。

cc 是大资本裹挟了一个超人才 team 逼出来的。它被动开源的部分，早就是它们内部的过去时了，你只看到了一个被动开源的中间态罢了，未必是最终形态，也未必是真正能持续有用的。search 的这部分，包括整个 harness ，从根源上是 反着 the bitter lesson 来的，过往之谏 让我对这些本身就很抵触，本质上和过去符号主义没什么区别。

你这份态度，我欣赏，我也不打消你的态度积极性，闯一闯，失败了，也未必是坏事。

search 只有花钱买 api ，这是市场选择。

你要做的这个事情，缝缝补补，总是差强人意的能用一下，但是对标 cc 这种云 api 的想法，可以先停一停。不如它，很正常。比它差一点，但是能用，也不是不可以。对标它，那是要融资了凑人才 team 做的事情，开源注定是做不成的一地鸡毛。

@KaiWuBOSS #6 不比 10 年前的开源了。如果只是单体 application ，熟悉个把高级语言，也能参与。但是你这个是一个解决方案，里面涉及到的技能和知识点，不是 web 体系，有门槛的。你指望这些普通前后端围墙里的人，主动免费突破自己的知识壁垒，这是妄想。

而且你要做的这个事情，本身 top 厂商 也没有完全解决。还在演化迭代中，随着模型本身能力的进化，harness 都快要成过去时了。虽然，我不看好 LLM 这波，但是我自己也有使用的需求，我也持续关注。但是，变化太快了，你可以这么理解，agentic 本身的鲁棒性 一般，方法论迭代，时好时坏，benchmark 甚至都不能作为完整的验证依据。

这也是为什么市面上，迟迟没有人做。我 2024 年夏天的时候，langchain 就摸了一遍，去年开春的时候，llama.cpp 也摸了一遍，我这个摸，都是直接看源码的，当然，这是个人习惯，我看源码和看小说没什么区别。我为什么没做，因为，我看的太多了。我试图给 llama.cpp 找 异构多机多卡的分布式并行推理 的解决方案，想了几个月，并且还花点钱组了一个 10G 网络，但是最终，我发现是徒劳的。

比如，联网的问题，searxng ，如果你深度使用过就知道，就是个玩具（一则是它整合结果的算法，二则是 search 能识别有时候返回不相干结果）。不用钱买 search api ，都是玩具。
记忆这块，本身学界也没有什么好方案，论文出了一大堆，吹的比实际都好。至于 a ，o ，厂的技术，基本上都是人力财力堆出来的。开源完全无法媲美。

kvcache 的问题，在 gram 有限的开源环境中不可能解决，这是 0 day 原始问题，不是工程技术的问题，是原始架构的问题。唯一的方法，就是堆 gram 。

context 问题，和 kvcache 如出一辙。

有限 gram 的开源异构环境，没有通用解。

debug 神经网络模型，都是用 pycharm remote 到 gpu 的容器里，直接改了就跑结果。

要用到多 CPU core parallel ，就直接 goland remote 到多 cpu 的 container 里直接 build&run 。

@makictos #23 有时间有精力，就多追一下业界最强。

Decoupled DiLoCo for Resilient Distributed Pre-training https://arxiv.org/html/2604.21428v1

哥们儿的态度，我很欣赏。

@KaiWuBOSS #35 单机多卡 llama.cpp row 模式，对多卡是要做按比例 row split 的，如果 N 张卡都放不下整个，offload 到 cpu/mem 的部分，这之间怎么配比，你这个方案里没有。

比如，1 2080 11G ，1 3090 24G ，跑 unsloth/Qwen3.6-35B-A3B-GGUF Q8 ，38.5G ， 多卡 parallel ，类似这种切分的解。

我阐述的问题是，N 不同的情况下，可能没有通用解。每个 N ，都是单独的。

@makictos #24 味儿太浓，你要是能不这么端着交流，我还能高看你一眼。但是你这装的，处处感觉自己屌人一筹。讲真，LLM 这波还能走多远都是个问题，行家都知道 LLM 根本没有什么搞头。你也就是在这波泡沫里游荡一回罢了。底层这点工程技术，早就没什么新鲜东西。而且我都没问你，你解答个什么？你给 OP 回复就行了，并且你回复的也不是我不懂的东西嘛。讲了和没讲一样，谁不知道 nvlink?

一开始是无所谓冒犯不冒犯的，但是你后面这两个回复，确实味儿太冲，熏到哥们儿了。但是我理解你孤芳自赏的内心，我原谅你。

@KaiWuBOSS #25 单机多卡 tensor parallel + offload ，比单卡 + offload 复杂多了。

@hhh12 #10 一帮只会点三板斧，连高德纳 具体数学 估计都整不明白的 三脚猫，臧否起来，全身上下就只有嘴是最硬的。

https://www.v2ex.com/t/1207254

看他的帖子，他有一台。

@makictos #20 训练多大参数的模型呢？有这个训练需求的，单卡早超过了 128G 。全世界不会超过 10 家，这 10 家的 infra 技术，和，你，我，他，有什么关系？你，我，他，会不会，懂不懂，又有什么关系？

你的观点是工程学术理论极限，但是学界也没有条件搞这个级别的集群的工程技术创新，普罗大众也接触不到。能研究这个极限的，也就大厂的那些个有条件接触超大集群 infra 的工程师。理论极限，我当然懂。我每天都看最新研究论文。

我的观点是，多机多卡分布式并行推理，就算是攒了一些低端卡，凑个 40G 网络的普通玩家来说，也是个鸡肋技术。不要说训练，多机多卡分布式并行训练，虽然起码理论上来说，我懂，但是我也没实践过，没条件。但是，并不是说，每个人从理论上都懂的。

@kloudmuka 铁子，学界又整了一个新项目，试一下？

https://arxiv.org/html/2604.12231v1

https://github.com/ulab-uiuc/Thought-Retriever

glm5.1 Q8-k-xl,811G ,2 个 m3 mac studio ultra 512G 通过 雷电口串起来跑 pipeline ，也是能跑的。就是慢罢了。

amd 2023 年出的 mi300x,单卡都 192G hbm3 ，一机 8 卡，也有 1.5T ，现在开源的量化都能单机塞进去。
就不用说 2024 年出的 mi325x ，单卡 256G hbm3e ，一机 8 卡，2T ，开源的 BF16 都能塞进去，还有 context 空间。

所以，多机多卡分布式并行推理，在这些大船靠岸的时候，都是过去时了。只是，当下，对于市面上的穷人来说，还是有用的。或许，工程学术上还能水一点文章。

LLM 多机多卡分布式并行推理的话，infra 上的优化总是有限度的，还得是 架构优化，kvcache 量化，pd 分离，虽然都是老生常谈，但是真的必须得用。

要是 pipeline 串行推理，那非常简单明了，10G 以太网都能搞。