macbook pro 跑本地模型，64g 内存够用吗？ 64g 可以跑哪些模型呢？ 等 9 月新品还是现在呢？ 不懂 mac 的商品啊
This topic created in 42 days ago, the information mentioned may be changed or developed.
 |
1
NASK Jun 12
macbook Pro 跑本地模型没有意义,如果真想本地跑的话,可以用 mac mini 来跑.
|
 |
2
ssack9 Jun 12
MacMini 需要什么样的配置来跑本地模型
|
 |
3
wuxilaoshiren Jun 12
伪需求
|
 |
4
et5494 Jun 12
25 年购入了一台 MAC MINI M4 PRO 64G 版
实际测试下来，跑模型的 token/S 很慢，GPU 全程 102°，完全等不及的那种（我忘记上的多大模型了，反正 64 是低不成高不就） 这钱直接花在订阅上，这不香吗？ |
 |
6
mbooyn Jun 12
一般推荐显存几百 G 的才跑本地模型，否则一律走云端 api
|
 |
7
YanSeven Jun 12 via Android
就算能顺利跑了，堆到顶级了。那个智力可能都不如现在有些厂商发善心给你免费用的 API ，都不必花钱。
|
 |
9
ntedshen Jun 12
9 月不涨价就不错了。。。618 的货还是年初的价
|
 |
10
ysn2233 Jun 12
伪需求，不跑最好
|
 |
11
foxio2 Jun 12 via Android
这个好办。选内存带宽超过 800G/s 的。
|
|
12
foxio2 Jun 12 via Android
4 万以下根本不用看。4 万以上的那种。本地跑的，主要是是为了保护宝贵的私有数据。所以。这点钱也值得。
|
 |
13
i67c6NJ0r33nC667 Jun 12
你能跑的都是弱智模型
|
 |
14
Mandelo Jun 12
本地模型要好用，卖 token plan 的早倒闭了
|
 |
15
onetown Jun 12
我现在很多代码是用 m5 max + 128g 内存跑的 qwen3.6 35b 的模型跑的。65k 上下文， 模型本身支持 128k ， 但是我为了可以并发， 限制到 65k 。
|
 |
18
coefu Jun 13
mac 系列只有 ultra 能用，别的都不用试了。
|
|
20
coefu Jun 13  1
@sjmcefc2
推理第一要素，gmem/umem 的带宽，越大越好。 第二要素才是算力本身，prefill 阶段，context 太长，Nvidia 的 cuda 擅长的地方。 mac 系列只有 ultra 的带宽>= 800GB/s ，这是第一个要素。 至于 apple metal gpu 的 core 数量，讲真，再多一倍也无济于事。算力对于 mac 系列来说，聊胜于无。 |
 |
21
felixcode PRO 建议拔网线，关网卡，再也不联网，然后再跑本地模型。
这样就能发挥本地模型保护隐私数据的优势了。 |
 |
22
wsbqdyhm Jun 13 via iPhone
目前 m1max64g ，能跑 qwen3.6-27b ，10 多 token/s 吧，仅供参考。架构 omlx 。没有什么实际意义。
|
 |
23
CakeJu Jun 13
有什么本地模型的需求吗，不如把买笔记本的钱拿来订阅
|
 |
24
decemberpei Jun 13
投入大几万，跑个垃圾模型，在 token 比自来水还便宜的时代，意义在哪里？
|
 |
25
RW233 Jun 13
本地 LLM 本身就不是一件有性价比的事情
|
 |
26
cnrting Jun 13 via iPhone
你直接问 ai 吧
|
 |
28
sn0wdr1am Jun 13
我感觉，就目前来说，消费端本地部署大模型，毫无性价比。
属于： 花大价钱，部署弱智模型 |
 |
29
homonym Jun 13
现在感觉本地跑一个不大的模型除了折腾的乐趣，没有太大的意义了
|
 |
30
kergee Jun 13
看着多多每天降 100 来诱惑我，现在 64G+1T 的都 21000 多了
|
|
31
onetown Jun 13
|
 |
32
EvanQu Jun 13
买 m5 ultra 除了 ultra 基本其他的都不行。内存大没用带宽太小了
m5 120GB/s | m5pro 翻倍 240 左右 m5max 5-600 百左右 m5ultra 翻倍 1000-1200 左右 参考 5090 1970gb/s |
 |
33
songco Jun 13 via Android
见过的都是 mbp 基础款加 mac studio
|
 |
35
CoderLife Jun 13
刚用 m5 pro 64G 在 comfyui 跑了一下, 卡到爆, 还报错
|
 |
36
walkon Jun 14
m4max 64G 可以跑 qwen3.6 35b a3b 4bit 模型，做做日常批量任务没问题（ 30k tokens ）
|
|
41
coefu Jun 15
@diudiuu 没懂你在说什么，ultra 的机型下，我用 llama.cpp 都能把 模型全部层加载进 apple metal gpu ，cpu 都没有加载任何层。
我彻底没用 omlx ，它限制了 context 长度，我用 llama.cpp 跑 263k context 能一直跑。只是 llama.cpp 对于 混合 attention 的支持目前有问题。不过大概率要几个月才能 fix 这个问题，或者根本无解，跑的满点罢了。 |
 |
42
micao 17 days ago
32g 内存都不够，至少的 48g 。硬盘得 1T ，否则随便做个项目，docker 拉一堆镜像，大模型再下载几个试错，1T 很快就满了。想要能用的大模型，最差也要 35b 的模型。还得兼顾推理能力和速度。还是 amd ai max+ 395 64gb ，性价比最好了。最好 128g 内存。
|
Select Language