linser

到发帖时间为止，目前能在本地部署的开源模型，最好的就是 Qwen3.6 27b ，也是最接近商用模型的小模型，这个模型 16G 显存勉强能用 Q4 跑，但是要干活建议 Q6 及以上，需要 24G 或 32G 显存，所以 5060TI*2 、5070TI*2 、5090D 24G 是起码的配置，有条件可以上 5090 32G ，不怕风险也可以考虑 4080S 32G 、4090 48G 这种 DIY 卡。

除了 Qwen3.6 27b 外，Qwen3.6 35b 和 Gemma4 也能用用，但是效果要差一些，其他模型就不建议了。