V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
workbest
V2EX  ›  Local LLM

qwen 本地大模型的问题

  •  
  •   workbest · 15 小时 45 分钟前 · 353 次点击

    我的机器是 M1 Pro ,32G 内存,部署本地模型主要是两个需求:

    1. 翻译
    2. 总结并做简单的分析提取内容

    我一开始使用的是 qwen3.5-9b 和 qwen3.5-4b 的模型,测试的时候,可以用,但是在实际跑起来的时候,发现 qwen 会无限思考,经常 10 分钟都没有任何响应;后来换成了 qwen3-4b 的模型,效果比较好,很少出现无限思考的问题

    3 条回复    2026-04-02 18:11:40 +08:00
    lagrange7
        1
    lagrange7  
       15 小时 4 分钟前
    是不是启动的时候设定不思考,会好一些?
    xiaoz
        2
    xiaoz  
       14 小时 58 分钟前 via Android
    你直接调用参数里面设置下禁止思考呗。
    workbest
        3
    workbest  
    OP
       9 小时 34 分钟前
    没有 disable 思考,设置了 最大思考 token ,没用
    关于   ·   帮助文档   ·   自助推广系统   ·   博客   ·   API   ·   FAQ   ·   Solana   ·   981 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 22ms · UTC 19:46 · PVG 03:46 · LAX 12:46 · JFK 15:46
    ♥ Do have faith in what you're doing.