这是一个创建于 170 天前的主题，其中的信息可能已经有所发展或是发生改变。
最近想本地折腾下 llama3:70b ，发现 32g 不够用。
问问各位大佬：
1. 升级内存，是不是能解决？
2. 升级内存靠谱吗？比如找个维修店
3. 能的话现在什么行情？ 32=》 64=》 128
问问各位大佬：
1. 升级内存，是不是能解决？
2. 升级内存靠谱吗？比如找个维修店
3. 能的话现在什么行情？ 32=》 64=》 128
25 条回复 • 2024-06-06 10:52:36 +08:00
 |
1
icestraw 170 天前
是能解决
不靠谱，升不了 没有行情，也可以理解为比置换更贵 只能卖了再买 |
 |
2
deplives 170 天前
Apple silicon 怎么升级内存？连 cpu 一起换？
|
 |
3
InternetExplorer 170 天前
内存不是和 CPU 长在一起的么，要升级只能换个主板吧
|
 |
4
imnpc 170 天前
运行内存换不了的
|
 |
5
waino OP |
 |
6
lrigi 170 天前 via iPhone
不能跑不如买个 poe 之类的。等你真的能运行了 70b 可能会发现速度好慢，还不如运行 8b 的舒服
|
 |
7
wxw752 170 天前
那都是 inter 的老机型，才能换内存颗粒
|
 |
8
xcnick 170 天前  1
32G 内存本地可以跑 Qwen1.5-32B 模型，这个模型是 30B 规模下中文最优秀的模型之一
|
 |
9
xayoung 170 天前
m 系列升不了的。目前能升的唯一方法是 cpu 和内存一起换，这样成本就非常高了。退一万步来说，即使能单独升你也敢升？内存和 cpu 连在一起的，风险非常高。
|
 |
10
GeekGuru 170 天前
卖了再买最划算。。
|
 |
11
zhwq 170 天前
4bit 或 8bit 量化之后效果可能还不如 8G 的
|
 |
12
Phariel 170 天前
70B? 你想换多大的内存？ 128G 也不够吧 你除非要跑很重的 quantized 版本 你本地能跑个 13B 已经可以了
|
 |
14
bzw875 169 天前
苹果 M2 芯片的内存是和 CPU 焊接在一起，个人理论上换不了，台积电有能力换 |
 |
16
kuaner 169 天前
m2 max 无头骑士
|
 |
17
7lQM1uTy635LOmbu 169 天前
@waino #5 原理上可以换，有人成功过，但报废率太高，量产不了
|
 |
18
pelloz 169 天前
别折腾自己的小本子了，搞个服务器，或者工作站，甚至就简单配一个主机，内存随便你加，便宜得很
|
|
20
waino OP 听劝不在现在机子上折腾了
|
 |
21
beginor 169 天前 via Android
64G 的 M1 Max 也要将显存调整到 56G 才勉强跑的起来 70b 参数的模型， 一秒钟大概一个 token ，还是老老实实跑 32b 左右的模型吧， 一秒钟 2~3 个 token ，自己玩一下还可以。
折腾 70b 以上的纯属虐待自己的 Mac 。 |
 |
22
jimrok 169 天前
M 芯片采用了统一内存，封装的方式是直接把内存芯片和处理器芯片在微孔上连接在一起，chiplet 方式，是不能升级的。
|
 |
23
dilidilid 169 天前
卖了再买，别折腾了。大模型为啥不用现成的商业服务非要本地呢，又不搞大模型开发，搞不懂你们
|
 |
24
crokily 169 天前
@xcnick 在文本编辑上试用了一下，确实在中文条件下 qwen 更好，汉化的 llama 在中英混杂的情况下，哪怕提示词是中文的，也很容易生成纯英的回答或者是纯中文的回答（例如要生成一句带中文解释的英文例句就不行）。而用 qwen 就能生成出正常的中英混杂文本，哪怕 prompt 是英文的也能正常生成中文回答。
|
 |
25
littlewing 169 天前
M 芯片不支持升级内存，集成在 SOC 里
|
Select Language