V2EX › linser 的所有回复 › 第 1 页 / 共 1 页

V2EX = way to explore

V2EX 是一个关于分享和探索的地方

For Existing Member Sign In

19 小时 17 分钟前

回复了 davidyin 创建的主题 › Local LLM › 想折腾一个 AI 主机，请行家出手

到发帖时间为止，目前能在本地部署的开源模型，最好的就是 Qwen3.6 27b ，也是最接近商用模型的小模型，这个模型 16G 显存勉强能用 Q4 跑，但是要干活建议 Q6 及以上，需要 24G 或 32G 显存，所以 5060TI*2 、5070TI*2 、5090D 24G 是起码的配置，有条件可以上 5090 32G ，不怕风险也可以考虑 4080S 32G 、4090 48G 这种 DIY 卡。

除了 Qwen3.6 27b 外，Qwen3.6 35b 和 Gemma4 也能用用，但是效果要差一些，其他模型就不建议了。