用 antirez 的 llama.cpp fork 把 DeepSeek v4 Flash 在本地跑起来了

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

https://github.com/antirez/llama.cpp-deepseek-v4-flash

llama.cpp

DeepSeek

本地

14 replies • 2026-04-29 11:29:45 +08:00

Livid

MOD

PRO

1 day ago

洗车测试也过了，不过从思考过程来看是它知道这是一道 typical 测试题：

sddyzm

PRO

1 day ago

Tink

PRO

1 day ago

是啥硬件跑的呢

Livid

MOD

PRO

1 day ago

@Tink M4 128G

ares001

PRO

1 day ago

实际运行起来占用多少显存？

Hermitist

1 day ago

https://github.com/TheTom/turboquant_plus 也可以试下这个.

sentinelK

1 day ago

相较而言，个人体感还是 Qwen3.6 35B A3B 在 localLLM 上跑的更顺一点，benchmark 评分也是和 v4 flash 互有胜负

Tathagatagarbha

21h 42m ago

向大佬学习

unnyxi

11h 23m ago

@sentinelK 如果 Qwen3.6 35B A3B 和 v4 flash 互有胜负，Qwen 3.6 27B 岂不是碾压 v4 flash 了...

elepant

8h 47m ago

跑起来和好用，真的是两码事。M4 本地跑 LLM ，响应是真的是慢。。。

sentinelK

8h 27m ago

@unnyxi 如果是默认的思考长度的话，是的，但是 27B 目前还打不过 flash 的 max 思考长度

PeterTanJJ

8h 16m ago

Qwen3.6 35B A3B 速度很快，有试过没？

这个 flah 感觉不如 minimax

xuhengjs

7h 5m ago

期待 qwen3.6-36B-A3B 的终极优化方案

PeterTanJJ

6h 49m ago

@unnyxi 27B 的输出速度不行