V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
SiddhaDo
V2EX  ›  分享创造

做了个 Gemma 4 本地部署的硬件匹配工具,求各位大佬指点

  •  
  •   SiddhaDo · 5 小时 4 分钟前 · 127 次点击

    最近对 Gemma 4 感兴趣,发现一个问题:模型版本太多了( E2B 、E4B 、26B MoE 、31B Dense ), 每个对硬件要求都不一样,看群里经常有人问"我这个配置能不能跑 xx 模型"。

    自己踩了一圈坑之后,把经验整理成了一个小工具:

    → 自动检测你的 GPU ( WebGPU/WebGL ,不需要装任何东西) → 根据你的硬件推荐最合适的模型 + 量化方案 → 直接给 Ollama / llama.cpp / Transformers 的运行命令 → Mac 、Windows 、Linux 、手机都覆盖了

    地址: https://www.gemmamatch.com

    纯前端,没有后端,不收集任何数据。

    目前数据主要是从 r/LocalLLaMA 和社区 benchmark 整理的, 肯定有不准的地方,特别是:

    1. GPU VRAM 映射表可能漏了一些型号
    2. Apple Silicon 只能检测到 Metal 版本,分不出 M1/M2/M4
    3. 速度估算比较粗糙

    如果各位跑过 Gemma 4 ,欢迎反馈下实际体验, 我可以把数据补进去,让推荐更准一些。

    目前尚无回复
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   915 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 21:30 · PVG 05:30 · LAX 14:30 · JFK 17:30
    ♥ Do have faith in what you're doing.