8 点刷了 2 个小时都刷不到江浙沪的首发提货，快递直接干到 4 周后。。。

@kera0a 推荐的 Bark➕1 ，自己免费部署一个就行了。

我用 i9 的熬了多少年等等等，去年觉得差不多了入手了 64G 的 M4 MAX ，跑本地模型

@beginor 不穷啊，一点不穷鬼。要质量靠谱，起码也要 qwen 2.5 的 32b 吧，就算量化版本，补全上下文窗口要大，40GB 的显存是要的啊（ 4090 才 24GB ）手动狗头

你应该找的是 YOLO

@Jinnrry 现在 LLMs 这么火，模型架构基本都手链到 transformer 的自回归部分也就是 decoder 部分。
而，HF （ huggingface ）开源的 transformer 库基本就是所有开源 LLMs 使用的标准 transformer 实现（ Google 除外，坚守自家框架，但也不是 TensorFlow 了，而是用 JAX ）。
又，HF 的 transformer 使用 PyTorch 实现的，所以，过去几年 TF 就逐渐江河日下了，所有新工作，新 paper ，新开源基本都是在 pytorch 下了。
所以，这时候入坑，就当没有 tf 这个框架，也不亏。

@twinsant 22 楼 @ladeo 正解，tensorflow 别用了，被时代抛弃的框架了，直接上手 pytorch2.x 吧。

@HOYU 额。。。这是为啥

@mantouboji 经验害人啊，这是我写的。

https://zhuanlan.zhihu.com/p/30551539
@mantouboji
@kneo 这个励志不


@guozi1117 不知道，还在等大神出方案了。

@guozi1117 我是手贱从桥接改成光猫拨号，看测速到底能不能跑满。现在好了，测速肯定能跑满了。。。。。

哎，刚登上去，重启一下，登不上去了。。。。

我说昨天开始我的 openai 的 API 怎么抽风了😭，怎么也想不到是 ml 的反代跪了

已🌟

@terrysnake 这段时间不是每天都有裁员的各种消息么，今天不知道明天啊。

你就不怕明天毕业么🔔


这样打可以咩😁

@lsww 训练推理分开说。
先说推理。目前大模型是有，但是不多，模型也没大到一定要上多机的。毕竟现在 20G 、40G 显存的 GPU 还是有的，模型再大，整个单机多卡足矣。而且这种推理侧的模型拆分，其实就是简单粗暴，把模型切成几片，保证每个分片的 weight 能塞到 AI 卡的 DDR 上去就行，然后多卡组个流水线完事。
再说训练。这玩意就能说几天几夜了。
不管单机多卡还是多机多卡，首先要知道的：
并行计算相关的概念和知识；
然后并行训练的三个名词：数据并行，模型并行，混合并行；
多机的情况下，应为有跨机器通讯甚至是跨机柜通讯，靠网卡那是万万不行的，又要去了解：
各种大规模并行算法的拓扑设计（其实顺手也就了解了物理服务器的拓扑设计），这个有不少经典 paper 可以看；
高性能通讯，那就绕不开 RoCE 和 IB 了，又是知识点；
这些搞明白了，下面就要琢磨下各框架怎么做分布式并行训练的：
前人怎么改造 TF 和 PyTorch 的；
怎么把 TF 、PyTorch 当后端，在上面怼个分布式的轮子（框架）来实现分布式的；
OneFlow 怎么平地起高楼，从头撸一个分布式并行训练优先的框架，怎么保证不改代码单卡、多卡、多机多卡都能玩起来；

基本概念都有了，那么就可以琢磨琢磨哪里有优化点可性能瓶颈了，可以造轮子了。