zktz
V2EX  ›  Local LLM

有没有人装过 Strata + Qwen3.8-Flash-Next 125b?我遇到的问题是在 workbuddy 里一直超时。

  •  
  •   zktz · Oct 4 · 2782 views
    This topic created in 36 days ago, the information mentioned may be changed or developed.
    有没有人装过 Strata + Qwen3.8-Flash-Next 125b ?我遇到的问题是在 workbuddy 里一直超时。
    我用的 NVIDIA A6000 48G
    2× Xeon Silver 4210R @ 2.40GHz = 40 线程
    128G 内存
    硬盘是固态的
    我本来就是用 work buddy 远程控制安装的。开始用 workbuddy 安装,测试还不错。能到 90 多 tps 。套在程序代码里也没啥问题。但是套进 workbuddy 就有问题了,一直超时。我初步觉得是 workbuddy 上下文太长。然后套在 cherryStudio 里也不行。然后用 AI 分析 AI 解决。后来 cherryStudio 里好了。workbuddy 还是不行。最后 AI 分析是只要调用 tools 就有概率会崩。还有长上下文,在某个位置必崩。

    大家有什么好的建议么?
    9 replies  •  2026-10-26 20:24:35 +08:00
    anivie
    anivie
    Oct 4
    1
    我也在尝试把 Starta 接入 codex 里用,发现 codex 里它不知道在哪执行的工具调用,思维链也不展示,一阵 thinking 之后直接告诉我在沙箱里什么也执行不了就退出了,给我整的一脸懵,现在在等官方支持 codex
    bigcata
    bigcata
    Oct 4
    2
    非要用 workbuddy 干什么?
    oldlamp
    oldlamp
    Oct 4
    3
    有可能是量化的问题?
    dford
    dford
    Oct 4
    4
    试试用 pi 或 omp 呢,适配得挺好的
    cskeleton
    5
    很可能是 wb 的问题,wb 还是有些私活,我把我的 codex 放 cpa 给朋友们用,朋友们发现不能生图,模型回复已经画好了,但是客户端看没有。分析了 wb 的文件之后发现它的生图只能走自己的渠道,其他渠道返回回来的图片直接静默丢弃。
    我通过 cpa 然后放在 dsh 里用,完全没问题。5070ti+64G 内存,跑 iq3_s 能有 40+ tps 。
    honjow
    honjow
    Oct 4
    6
    我也接到 wb 用,正常的啊
    utwo
    utwo
    Oct 5
    7
    我 2080ti 22gb 跑的都能勉强用。IQ2_XS ,60 左右的 tok/s
    passive
    passive
    Oct 5 via Android
    8
    这项目牛逼了,ddr3 的电脑 16G VRAM 跑 IQ3_XXS ( IQ2 估计降智严重),100k 上下文,稳定 40t/s 。 把本地的 Qwen3.6-35B-A3B 换了。
    panghu960
    panghu960
    Oct 26
    9
    先别在 workbuddy 里调,直接用 curl 打那个 OpenAI 兼容口,喂同一份长上下文,只看两件事:第一个 token 多久到、流有没有中途停。1 )超时多半来自前者:125B 在 A6000 上还吃内存分层,prefill 很慢,拿引擎报的 prefill t/s 除一下上下文长度,几十秒不奇怪;而不少编排层的超时算的是整轮请求的墙钟(默认常见 60s ),不管你是不是在流式输出。把上下文砍到 4k 试一次,立刻好就是超时预算的问题,不是模型崩。2“调 tools 有概率崩”和“某位置必崩”不是一回事:工具调用是模型吐 JSON 、客户端自己拼流式 delta ,拼歪或者停在半个对象上客户端不会报错,只是一直等,看起来就是超时。先看原始响应的 finish_reason 和 tool_calls 有没有闭合。我做自托管 agent ( openmuse-standalone ,我是开发者)时把每步事件先落到自己的库再推前端,读的一方设“多久没新事件算断”而不是“多久没跑完算断”,这类假死好定位很多。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1060 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 36ms · UTC 18:22 · PVG 02:22 · LAX 10:22 · JFK 13:22
    ♥ Do have faith in what you're doing.