V2EX = way to explore
V2EX 是一个关于分享和探索的地方
Sign Up Now
For Existing Member Sign In
替换下面指令中的 model ID 为你本地 Ollama 里启动的版本。
openclaw onboard --non-interactive \
--auth-choice custom-api-key \
--custom-base-url "http://127.0.0.1:11434/v1" \
--custom-model-id "gemma4:31b-it-q4_K_M" \
--custom-api-key "ollama" \
--secret-input-mode plaintext \
--custom-compatibility openai \
--accept-risk
 |
1
0U0 Apr 4
需要什么配置才能跑得动
|
 |
2
Livid MOD OP PRO |
 |
3
Visoar PRO Google 搞了个 `Google Al Edge Gallery`，在 iPhone 上直接跑起 e2b/e4b 版本 Gemma4 ...
试了 e2b 速度很好很顺畅，能力也不错. 看起来今年端侧小模型要开始卷了  |
 |
4
pkuphy PRO 这个模型真的好用
|
 |
5
senooo Apr 4
手机上的 e2b 2G PC 端的 e2b 7G
|
 |
7
v2gba Apr 4
站长这个得 30+的内存才能跑了吧？
|
 |
8
zivn Apr 4
32G M3 Pro 不论用 mlx 还是 ollama 跑 31b 基本没法用。
聊天可以，openclaw 直接卡死。 虽说理论上只要 20G 内存，但 openclaw 上下文太长了，预填充要几分钟甚至十几分钟。 26b 是 MOE 就没试了，感觉还是 Dense 才有前途。 |
|
9
zivn Apr 4
mlx 版本在 huggingface 上，mlx-community/gemma-4-31b-it-nvfp4 ，需要用 mlx-vlm 运行。
|
 |
10
huanxianghao Apr 4
很棒。
在 windows 上面跑了，4070s 跑 26b ，感觉思考时间有点长 |
 |
11
paranoiagu Apr 4 via Android
龙虾的上下文太长了，我 24G 显卡，跑 27B 的 qwen3.5 ，开了 64K 上下文，再大就爆显存了。但是 64K 龙虾不够。
|
 |
12
chipipi Apr 4 via Android
目前什么设备能跑得动？
|
 |
13
dinjufen Apr 4
16G 内存的 mac mini m4 能跑动吗
|
 |
14
zoozobib Apr 4
测试 qwen3.5-27b q4 和 gemma4-31b q4 。200K ctx 同样的代码问题，后者一把过，测试用例还是少
|
|
15
zoozobib Apr 4
但前者能跑到 38 /t 后 只能到 33/t
|
 |
16
levn Apr 4
27b q4 使用 32G 显存，就可以开 200k 上下文
31b q4 使用 64G 显存，kv q8 量化都开不到 100k 上下文 |
 |
17
crocoBaby Apr 4
能用度如何？
|
 |
18
learnshare Apr 4
16G M2 Mac mini 勉强能跑起来低配两个版本，但仅能跑起来，没啥可用性
以后得买 64G 版本玩一玩了 |
|
20
zoozobib Apr 4
新测，加了 2b 的 draft , 提升到 45/t ;Draft 接受率 不错，5 成
|
 |
21
fs418082760 Apr 4
据说不如 qwen3.5
|
 |
22
hanguofu Apr 5
值得期待 ~
|
 |
24
c0xt30a Apr 5
我用微调版 Qwen3.5 的经验是：只要虾虾不试图修改代码错误，运行还算顺利。技能运行不成功修改代码的时候，有很大的几率把自己搞瘫痪。
|
|
25
Livid MOD OP PRO  1
@crocoBaby 我还在测试，目前是用来替代了一个之前使用 Opus 4.6 的环境（因为之前的第三方 Claude API 服务商挂了，你知道的那家）。
Gemma4 有两个相对较大的版本，31b 和 26b ，26b 目前试下来会快很多。 |
 |
27
ijimmy Apr 5 via iPhone
@fs418082760 qwen 3.5 得先解决空格的问题……
|
 |
28
maoyufeng1985 Apr 9
本地模型只会浪费时间.
|
Select Language