有什么本地部署好使的写代码小模型吗？ 24GB 显存玩玩那种

没那么关注，不过前些天我装了个 Strata （ https://github.com/Niko1221/Strata ），也许可以试试。

24GB 显存可以搞高精度一点的模型还有长上下文了。

这种去年的模型有啥好折腾的，工具调用根本不稳定，不如用🤗上的新模型量化版

舊模型不值得折騰+1

DS R1 Distill 還是 Qwen2.5, 而 Qwen3 也不算太好, 這些東西 Tool use 正確輸出 xml 也極不穩定而且無法自行修正, 到了 Qwen 3.5 就好很多

有 64GB RAM 直接上 Strata 試試吧, Qwen 3.8 Flash Next 125B A10B 的 Tool uses 很穩, 3090 應該在 Prefill 及 generation 的速度也十分好用

年度最佳本地小模型：
低内存：qwen3.8 27B.
高内存：qwen3.8 flash next （ Strata ）.
27b 在执行层面上，只要把任务和验收标准写好，质量不比 gpt6 sol 差。找个大一点的付费模型当领导，27b 当力工。

建议 llama.cpp 上 Qwen3.8 27B Q4 。建议暂时不要尝试 Strata ，这个东西似乎买了推广，作为一个开源推理系统，推广力度如此之大，原因不明，等情况明朗后再尝试，上 Qwen3.8 flash next 用 llama.cpp 也没有问题

strata 真香。ddr5 内存再大一点会更香。

qwen3.6 35ba3b apex mtp 版本，效率和质量好得多
qwen3.8 27b 也可以，但是说实话我体感一般。

另外你跑的那些都是过时了吧，删了认准最新版吧

1 个 3090 就 Qwen3.8 27B 。有 4 个 3090 就 qwen3.8 flash next

你这信息太滞后了，落后了好几个版本了。
本地 30B 以内的模型写代码，几乎没得选，唯一答案就是 qwen3.8 27B ，再过一段时间答案就是 qwen4 27B

@uprit 哈哈，都是 deepseek 给我整理的，过来投石问路

@52txr 所有的 ai 都只有去年的 ai 数据，推荐给你也都是去年的毫无参考价值。（现在的迭代速度 1 个月前的本地 ai 就基本淘汰了，可以理解一个月就是一年，你这些模型可以理解为 10 年前的了...）直接去 huggingface 看，下载多的就把链接给你的 ai 问问它怎么样。推荐 qwen3.8-27b 系列

@uprit
@52txr 没错,唯一答案就是 qwen3.8 27B ，苦哈哈的玩了几个月，尝试了各种 24GB 显存方案，比如 NInfer ，llama.cpp 自编译，Bonsai, GSQ_RCQ ，Flash_Next, 最后发现居然官方标准 GGUF 模型是最佳答案：unsloth/Qwen3.8-27B-UD-Q4_K_M.gguf ，可以提供 200k 上下文，q8 精度 kv 。速度方面用 ngram ，关 mtp ，刚好不会 oom 。参数方面也可以自编译 llama.cpp kv 混合模式 k q8_0,v q5_1 ，这样可以开 mtp ，速度快点，另外 GUI 应用不能占显存，所以要有个备用的显卡，比如板载的或不同品牌的例如 AMD 的显卡。

@jinsongzhaocn 好的，知道了，感谢大佬们！！领教了，请受我一拜

@jinsongzhaocn 大佬方便分享下电脑配置吗

Strata 和 HyperQwen 都可以试试，一个质量好些，一个速度快些

那个破限版模型好啊

想本地搞主要就是做些线上模型限制得事情, 搞破解啥的

@hashtag 索性分享我自用的配置，4090 24GB,64GB 内存，双 CPU 相关配置--cpuset-cpus=0-23 --cpuset-mems=0,1 和内存相关配置--cache-ram 49152 ，需要根据实际情况设置，否则不能均匀加载各自 CPU 控制的内存
@iorilu Qwen3.8-27B-Uncensored-Q4_K_S.gguf 这个模型就是逾越

如果用 Q4_K_M 模型，就得去掉--spec-type draft-mtp --spec-draft-n-max 2 --spec-draft-p-min 0.6 ，否则显存不够。

docker run -d --name qwen3.8-27b-coder \
--restart unless-stopped \
--gpus all \
-p 8100:8000 \
-v /home/tab/docs/vllm_model/orcarouter:/model \
--health-cmd="bash -c 'exec 3<>/dev/tcp/localhost/8000 && printf \"GET /health HTTP/1.0\r\n\r\n\" >&3 && head -n1 <&3 | grep -q 200'" \
--health-interval=30s --health-timeout=5s --health-retries=3 --health-start-period=180s \
--cpuset-cpus=0-23 --cpuset-mems=0,1 \
--ulimit memlock=-1 \
ghcr.io/ggml-org/llama.cpp:server-cuda \
-m /model/Qwen3.8-27B-Uncensored-Q4_K_S.gguf \
--alias Qwen-Coder \
--parallel 1 \
--n-gpu-layers 999 \
--flash-attn on \
--split-mode none \
--temp 0.7 --top-k 40 --top-p 0.95 --min-p 0.01 --presence-penalty 0.0 \
--jinja --chat-template-file /model/chat_template.jinja --reasoning-format deepseek \
--no-mmproj-offload --mmproj /model/mmproj-Qwen3.8-27B-Uncensored-f16.gguf --image-min-tokens 1024 --image-max-tokens 4096 \
--reasoning on --reasoning-preserve \
--cache-ram 49152 \
--load-mode mlock \
-t 24 -tb 24 \
--host 0.0.0.0 --port 8000 \
--cors-origins "http://localhost,http://127.0.0.1" \
--metrics \
-fit off \
--ctx-size 204800 \
--n-predict -1 \
--cache-type-k q8_0 --cache-type-v q8_0 \
--spec-type draft-mtp,ngram-mod \
--spec-draft-n-max 2 --spec-draft-p-min 0.6 \
--spec-ngram-mod-n-match 24 --spec-ngram-mod-n-min 8 --spec-ngram-mod-n-max 32 \
--batch-size 1024 --ubatch-size 256

@liuhuanting 不错，你这个数据比我好，可能 CPU 和内存比较老的发挥不出 flash_next 的能力。

我本机的 zx-bench 数据和上图区别是 flash_next 编程的比 27b 差，但是安全比 27b 高。

单卡 3090 (24GB 显存) + 64GB DDR5 跑本地写代码，今年实测下来最务实的方案确实是 Qwen3.8-27B （ Q4_K_M 或 Q4_K_S ）：

1. 为什么坚决避开去年的 32B/33B 老模型：
去年那批模型在 Tool Calling 、返回格式自纠错（尤其是精准输出 JSON / XML 工具调用）以及长上下文的注意力保持上，和现在的 Qwen 3.8 / 3.5 相比差距非常明显。用在真实 Agent 或 VS Code 自动补全里经常出现参数幻觉。

2. 24G 显存的显存分配技巧：
如果做 Agent 编程，上下文建议至少留出 32k~64k 。用 llama.cpp 或 vLLM 部署时，KV Cache 设为 q8_0 或 fp8 ，配合 `--flash-attn on`，模型权重吃掉 ~17GB 显存，剩下的 6~7GB 足够支撑大几万 token 的 KV cache ，基本不会 OOM 。

3. 个人踩坑体会：
我自己做开源自托管 Agent （ openmuse-standalone ，声明我是开发者），在 24G 单卡机器上长期主力就是跑 Qwen 27B 负责所有本地代码检索、Tool Call 和单文件重构。遇到跨十几层架构的大重构再切商业云端模型，这种「本地 27B 搞定 85% 日常 coding + 云端顶配兜底」的混合架构，速度和成本体验是最好的。

11 月 6 号的版本可能是个分水岭，Strata 0.2.11: Unsloth's new 1- to 4-bit Qwen3.8-Flash-Next files ，UD-IQ4_XS-v31 93.7 GB 4 ， 终于 24GB 64GB 内存可以跑 Q4 级别的 Qwen3.8-Flash-Next 了。效果开始超过 Qwen3.8 27B 了。

不过内存最好到 128GB 。64GB 读盘挺多，一定放 SSD 上面，速度 50 tok/s 左右. 200k 上下文，--vision cpu 。

docker run -d --name strata-qwen-coder \
--gpus all \
-p 0.0.0.0:8100:8080 \
--shm-size=8gb \
--ulimit memlock=-1 \
--stop-timeout 120 \
-v /home/tab/llm_models/unsloth/Qwen3___8-Flash-Next-GGUF:/models:ro \
-v strata-data:/data \
-e STRATA_SOURCE=modelscope \
strata:0.1.57-cuda89 \
sh -c '
trap "strata launch --stop --preset docker-nokey 2>/dev/null; exit 0" TERM INT
strata launch --no-tui --yes --access lan --no-api-key \
--data-dir /data/Strata-data --model UD-IQ4_XS-v31 --family unsloth \
--parallel 1 --tune quick --retune \
--model-path /models/UD-IQ4_XS \
--context 204800 --vision cpu --port 8080 \
--save-preset docker-nokey || exit $?
bad=0
while :; do
sleep 10
if strata launch --status --output json 2>/dev/null | grep -q "\"state\": *\"ready\""; then bad=0; else
bad=$((bad+1)); fi
[ "$bad" -ge 3 ] && { echo "[X] server is gone"; exit 1; }
done'

qwen3.5:9b-q4_k_m
qwen3.8:27b-ud-q4_k_m