kakalulin
V2EX  ›  Local LLM

mac mini 跑本地模型,需要什么配置?

  •  
  •   kakalulin · 22 days ago · 2689 views

    下半年打算入个 mac mini ,用来跑本地模型+hermes 。

    大概需要什么配置? (模型-对应-配置)

    另:大家觉得年底,mac mini 二手价格能下来吗?

    18 replies    2026-06-09 08:48:00 +08:00
    urlk
        1
    urlk  
       22 days ago
    用线上的万亿级别的大模型一年才几个钱 , 自己部署一些弱智的几十亿参数的模型能干啥, 只能做些特定简单任务, 别折腾了

    给你个简单的内存计算方法, 电脑系统留 8G 不干别的活的话, 剩下内存的去模型网站看模型大小 例如

    qwen3.5:9b 6488c96fa5fa 6.6 GB
    qwen3.5:4b 2a654d98e6fb 3.4 GB
    gemma4:e4b c6eb396dbd59 9.6 GB
    FawkesV
        2
    FawkesV  
       22 days ago
    用来做啥? 我 mac 36G , 装的:gemma-4-26b-a4b-it-4bit 也就感觉只能用来聊聊天, 做不了开发
    Yi
        3
    Yi  
       22 days ago
    如果本月或下半年发布 mac mini m5 的话,二手会对应下降,不管怎么紧张渠道手里还是有一定量的 Mac mini M4 ,这些全新 M4 会降价出货,影响到后市场价格。

    一个不靠谱的猜测,丐版的 Mac mini M4 16+512 受影响最大,16+256 真丐版可能反而受影响较小 LOL
    penisulaS
        4
    penisulaS  
       22 days ago
    本地模型要么蠢,要么慢,用不大起来
    ntdll
        5
    ntdll  
       22 days ago
    用 5 刀 OpenCodeGo 里的 DeepSeek V4 Pro 、GLM-5.1 这些,本地的 macmini 就是跑冒烟也比不上这些一丁点。

    一个 macmini 的价格,能订阅十多年。本地部署在 99%的情况下,都是伪需求,能跑起来的弱智模型,你也看不上。

    而且也不用讨论订阅 API 限额的问题,本身 mac 跑起来 token 速度也不快,就是 24 小时跑,也没多少,更何况弱智模型跑出来再多 token ,也没有实际意义。

    当然,你要是就是单纯找个借口想买 mac ,那就是另一说了。
    Maboroshii
        6
    Maboroshii  
       22 days ago   ❤️ 1
    跑个 qwen3-0.6b ,调试程序用挺好
    mfkliq
        7
    mfkliq  
       22 days ago
    不好用的,又蠢又慢
    boy666
        8
    boy666  
       22 days ago
    折腾完弃坑
    lete
        9
    lete  
       22 days ago
    上 64G ,跑个 qwen 27b ,M 芯片能上 Pro 就上,模型速度跟内存带宽挂钩,Pro 内存带宽比基础款 M 芯片大
    jimrok
        10
    jimrok  
       22 days ago
    等等吧,端侧模型现在还不行,云端模型刚刚迈过可用的线,等两年云端成熟了,会下移到端侧小模型,到时候再买会比较合适。另外自己搭环境,可能成本比云端一点不便宜。
    phoenix380
        11
    phoenix380  
       22 days ago via Android
    除非要跑什么容易触发 大模型厂商的安全边界的,我买了 24g m4 最后也卖掉了
    coefu
        12
    coefu  
       22 days ago
    mac mini 的内存带宽,会慢的让你怀疑人生。
    bxtx999
        13
    bxtx999  
       22 days ago
    32G 内存 + 2050 4G 的笔记本 用来跑跑 Gemma4-26B-A4B Qwen3.6-35B-A3B 用起来还可以。
    ifwww
        14
    ifwww  
       22 days ago
    为啥要跑本地弱智
    unusualcat
        15
    unusualcat  
       22 days ago
    你自己用了就知道了,本机的模型弱智的要死,上下文长度有短的要死。给人的感觉就是你说了这一句,等一下他就忘了前面那一句。拿来教少儿编程,我觉得还行,干活的话你会被气死的。
    gigishy
        16
    gigishy  
       22 days ago via iPhone
    因为内存和存储涨价,所以 m4 芯片的 Mac mini 哪怕年底也不会降什么价。
    而且估计 m5 的 Mac mini 不大可能有 256g 版本了,那么比 m4 的变相涨了。
    16g 版本主要用来跑云端模型,端模型至少 32g 版本开始,能跑 35b 模型,当然如果正经生产力,尽量 48g 以上内存。
    yiranw09
        17
    yiranw09  
       21 days ago
    什么都用不了,deepseekv4p 都那么便宜了,再不济用 flash ,又快又便宜
    kennylam777
        18
    kennylam777  
       18 days ago
    暫時單機能跑智力過關的只有 Gemma 4 31B 或 Qwen 3.6 27B, 能做輕量開發, 我用 RTX 5090 跑這兩個 ctx 能達到 1024000 才算可以, 起碼跑 Claude Code 或 Github Copilot 還不算太易滿 context, MTP 能 90tps

    Hermes Agent 的話, 以上兩個都未必能達到滿意水準, 還要用 Mac 跑 10B 以上的 Dense 速度感人。

    Gemma 4 26B/Qwen3.6 35B MoE 就不用想了, 太弱, 處理簡單 coding 任務時還好, 但 MoE 的小 expert 才 3B/4B, Q4 後會更高機會 tool call 錯, 對 agentic operations 是大傷
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   884 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 104ms · UTC 21:24 · PVG 05:24 · LAX 14:24 · JFK 17:24
    ♥ Do have faith in what you're doing.