BernieDu 最近的时间轴更新 BernieDu 最近的时间轴更新 |
BernieDuV2EX 第 435347 号会员，加入于 2019-08-12 11:13:33 +08:00今日活跃度排名 15654 |
BernieDu 最近回复了
6 天前 回复了 886106 创建的主题 › Apple › Studio M4max 128G 是否合适跑大模型 |
@swmjjy 感谢数据，被 ds 的回答误导了。。
6 天前 回复了 886106 创建的主题 › Apple › Studio M4max 128G 是否合适跑大模型 |
@ShadowPower 14B 5bit 的小模型大概需要 9g 显存，你这用不着交火吧。我自己没试过 pcie 显卡交火跑模型，但是 ds 查的模型并行(场景是模型过大，需拆分到多个 GPU) 前向传播时需频繁传递中间张量（如层间输出）。PCIe 带宽 7.88GB/s 会限制大张量传输。成为推理瓶颈。让我用 nvlink 。（应该不会封号吧）
6 天前 回复了 886106 创建的主题 › Apple › Studio M4max 128G 是否合适跑大模型 |
@ShadowPower 如果推理不要求带宽那都用内存推理了。。
7 天前 回复了 886106 创建的主题 › Apple › Studio M4max 128G 是否合适跑大模型 |
@tap91624 2 条 nvlink 通道没办法实现 8 卡交火吧，而且 nvlink1 的带宽也不过 100 GB/s
7 天前 回复了 886106 创建的主题 › Apple › Studio M4max 128G 是否合适跑大模型 |
@mumbler 8 块 2080ti 魔改 22g 交火带宽是多少，没记错的话 2080ti 不支持 nvlink 。PCIe 3.0 每卡双向带宽 7.88 GB/s 。是 m4 ultra 内存带宽的 100 分之一。你确定能流畅跑 70B fp16 ？ 每秒输出多少 token ？
15 天前 回复了 Kinnikuman 创建的主题 › Local LLM › 本地部署的小模型（小于 16G 显存）适合轻任务，哪一个模型比较好用？ |
小模型肯定是新出的 qwq32 最好，不过 ollama 默认 q4 需要 20g 显存，你可以等等看有没有人量化 q2 的
19 天前 回复了 Belmode 创建的主题 › 程序员 › TRAE 大家用的怎么样？和 Cursor 对比呢，体验是不是更好呢？ |
写 SwiftUI ，trae 用 sonnet 3.7 一个问题问了 3 遍写的还是有问题，就是最简单最基础的问题。copilot 用 sonnet 3.5 一遍解决。 估计用了什么节约 token 的手段导致的实际体验很差，根本不是 3.7 的水平
28 天前 回复了 cameron321 创建的主题 › 生活 › 父母打电话给我要钱了，跟我心里想的不太一样 |
你要是想把这笔钱省下来交彩礼，我劝你还是给家里盖房吧， 两害相权取其轻。
29 天前 回复了 nbboy 创建的主题 › 分享创造 › 刚跟着花生老师学习了 Cursor，写了一个小网站 |
哥飞老师表示震怒
29 天前 回复了 wuzhidexiaolang 创建的主题 › 职场话题 › 最近的就业市场好奇怪 |
@tanranran 这模型考虑到政策影响了吗，55 分流是 21 年开始的吧，对应 27 年大学毕业生应该会减少吧。另外有老哥知道 55 分流现在还在执行吗，没有搜到官方消息
Select Language