macbook 32G 内存, M5 芯片本地跑大模型有推荐的吗?

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

现在注册

已注册用户请登录

• 请不要在回答技术问题时复制粘贴 AI 生成的内容

我用了 qwen3.5-27B 能跑但是比较慢, 换成 9B 的比较快但不太聪明.

我本地用的推理框架是 omxl, 然后用小龙虾对接, 干活是能干活,就是有点慢, 当然和 codex 不能比, 可惜 codex/claude code 这些 key 烧的太快, 要等 7 天后, 这也是我本地跑大模型追去无限 token 的初衷.

请问各位能给予我的配置推荐几个更好更聪明的大模型吗?

另外基于刚出的谷歌 atomic chat, 这几天有人逆向优化了它, 号称在普通的 macbook 上也可流畅加载 35B 大模型，KV 缓存直接压缩 4.6 倍,不到一周就有 1.5K stars 了.

这是 github 仓库地址 https://github.com/TheTom/turboquant_plus

不过它是加载进 llama.cpp 部署, 这个切换模型需要手动, 我懒得折腾了, V 站有闲的人去折腾下, 然后告诉我实际效果吧, 可以的话我准备照抄作业.

另外附加上当前 qwen3.5-9b 的 tokens 用量, 真的很快, 随便让小龙虾干点活就上千万 token.

第 1 条附言 · 12 小时 50 分钟前

刚去看了下,现在 25K stars, 早上出门时候才 1.5K,这太疯狂了.
https://github.com/TheTom/turboquant_plus

大模型

MacBook

推理

20 条回复 • 2026-04-01 00:18:52 +08:00

abellis

13 小时 28 分钟前

暂时 qwen3.5-35B-A3B-4BIT

Puteulanus

13 小时 7 分钟前

https://x.com/Brooooook_lyn/status/2038296844561002922

可以试试动态量化的 35B ，就这人这两天才弄出来的，35B 是混合专家模型，比 27B 的稠密模型快不少，但是对量化的敏感性也更高，MLX 之前量化得太糙了，看着比 GGUF 快，其实模型能力断崖式下跌的

前文 https://x.com/LotusDecoder/status/2031526735213453633

wuhunyu

13 小时 3 分钟前

本地部署的成本也不小, 27B 的规模也不会很聪明, 适用于一些比较简单的场景?

peakchao

12 小时 59 分钟前

既然用了 omxl ，可以直接下载 qwen3.5-35B-A3B-4BIT mlx 优化模型，我用着速度挺快。

pc10300

12 小时 58 分钟前

刚刷到这个，可以看看 https://ollama.com/blog/mlx

Hermitist

12 小时 57 分钟前

@peakchao 要看机器配置啊, 我当然恨不得上 300B 的.

Hermitist

12 小时 55 分钟前

@pc10300 其实前天测试过 ollama,但是太占电脑资源了, 我看了下你给的这个链接, 发现是昨天的, 看来要找时间测试下, 不过 ollama 只是 llm,不支持 vlm,只能通过 openclaw+skills 曲线实现了.

Samwulol

12 小时 43 分钟前 via Android

我看是 2.6k star 啊

workbest

12 小时 4 分钟前

lz 什么机器？我的 m1 用 qwen 3.5 9b 也不太行

workbest

12 小时 0 分钟前

https://github.com/danveloper/flash-moe/tree/main

这个呢？

diudiuu

11 小时 56 分钟前

m4 跑过 16b 已经略微有点慢了

mac 上可以使用 LM Studio 搭建更简单，个人感觉跟 llama.cpp 差距不是很大，反正别用 ollama

买 dgx spark 推荐用 llama.cpp

我试过本地 minmax2.5 200b gpt-oss-120b 的，也不是很聪明，没有想象那么好

Hermitist

11 小时 53 分钟前

@pc10300 https://x.com/berryxia/status/2038837864340000802 看到 x 上这个演示, 不知道有没有加速, 如果是真的话, 那真的是太快了.

pc10300

11 小时 42 分钟前

@Hermitist 试试呗，可惜我没有 m5 。文章说：This results in a large speedup of Ollama on all Apple Silicon devices. On Apple’s M5, M5 Pro and M5 Max chips, Ollama leverages the new GPU Neural Accelerators to accelerate both time to first token (TTFT) and generation speed (tokens per second).

Hermitist

11 小时 35 分钟前

@pc10300 正在下载 qwen3.5-35B-A3B-4BIT mlx 模型, 晚点看看.