跑本地大模型用，不想要二手
 |
1
CNYoki 5 days ago
Apple 直营店可以买到官翻版
|
 |
2
hello365 5 days ago
能跑到多大的模型多少 token/s ？
|
 |
3
sentinelK 5 days ago
@hello365 目前的话，qwen3.6-27B 4bit 量化的 mlx 版本模型，M5 MAX 128GB 的 macbookpro ，decode 输出可以跑到 30t/s ，prefill 输入可以跑到 700t/s
如果是 moe 模型，比如 qwen3.6-35B-A3B ，能到 100t/s 的输出。 |
 |
4
my3157 5 days ago via Android
实测 M2 Max 64G qwen3.6-35B-A3B nvfp4 ，ollama 大概能跑 70+t/s
|
 |
5
SteveRogers 5 days ago via iPhone
@sentinelK 买 mac studio 96g 可以满血跑 qwen3.6 吗
|
|
6
sentinelK 5 days ago
@SteveRogers 要等 M5 Max 版本的 studio 出来才行。M4 MAX 的性能比这代低很多，另外，mac 的统一内存是够放满血版本（非量化）的 qwen3.6 27B 的，但是因为内存带宽，所以性能很差。
|
 |
9
AllenZ0 5 days ago
这个各大都缺货，官翻也没有。我也在蹲。
|
 |
10
nachr 4 days ago
本地大模型真要达到好用程度小于 128 都不太够看吧
|
Select Language