This topic created in 36 days ago, the information mentioned may be changed or developed.
有没有人装过 Strata + Qwen3.8-Flash-Next 125b ?我遇到的问题是在 workbuddy 里一直超时。
我用的 NVIDIA A6000 48G
2× Xeon Silver 4210R @ 2.40GHz = 40 线程
128G 内存
硬盘是固态的
我本来就是用 work buddy 远程控制安装的。开始用 workbuddy 安装,测试还不错。能到 90 多 tps 。套在程序代码里也没啥问题。但是套进 workbuddy 就有问题了,一直超时。我初步觉得是 workbuddy 上下文太长。然后套在 cherryStudio 里也不行。然后用 AI 分析 AI 解决。后来 cherryStudio 里好了。workbuddy 还是不行。最后 AI 分析是只要调用 tools 就有概率会崩。还有长上下文,在某个位置必崩。
大家有什么好的建议么?
9 replies • 2026-10-26 20:24:35 +08:00
 |
|
我也在尝试把 Starta 接入 codex 里用,发现 codex 里它不知道在哪执行的工具调用,思维链也不展示,一阵 thinking 之后直接告诉我在沙箱里什么也执行不了就退出了,给我整的一脸懵,现在在等官方支持 codex
|
 |
|
非要用 workbuddy 干什么?
|
 |
|
有可能是量化的问题?
|
 |
|
试试用 pi 或 omp 呢,适配得挺好的
|
 |
|
很可能是 wb 的问题,wb 还是有些私活,我把我的 codex 放 cpa 给朋友们用,朋友们发现不能生图,模型回复已经画好了,但是客户端看没有。分析了 wb 的文件之后发现它的生图只能走自己的渠道,其他渠道返回回来的图片直接静默丢弃。 我通过 cpa 然后放在 dsh 里用,完全没问题。5070ti+64G 内存,跑 iq3_s 能有 40+ tps 。
|
 |
|
我也接到 wb 用,正常的啊
|
 |
|
我 2080ti 22gb 跑的都能勉强用。IQ2_XS ,60 左右的 tok/s
|
 |
|
这项目牛逼了,ddr3 的电脑 16G VRAM 跑 IQ3_XXS ( IQ2 估计降智严重),100k 上下文,稳定 40t/s 。 把本地的 Qwen3.6-35B-A3B 换了。
|
 |
|
先别在 workbuddy 里调,直接用 curl 打那个 OpenAI 兼容口,喂同一份长上下文,只看两件事:第一个 token 多久到、流有没有中途停。1 )超时多半来自前者:125B 在 A6000 上还吃内存分层,prefill 很慢,拿引擎报的 prefill t/s 除一下上下文长度,几十秒不奇怪;而不少编排层的超时算的是整轮请求的墙钟(默认常见 60s ),不管你是不是在流式输出。把上下文砍到 4k 试一次,立刻好就是超时预算的问题,不是模型崩。2“调 tools 有概率崩”和“某位置必崩”不是一回事:工具调用是模型吐 JSON 、客户端自己拼流式 delta ,拼歪或者停在半个对象上客户端不会报错,只是一直等,看起来就是超时。先看原始响应的 finish_reason 和 tool_calls 有没有闭合。我做自托管 agent ( openmuse-standalone ,我是开发者)时把每步事件先落到自己的库再推前端,读的一方设“多久没新事件算断”而不是“多久没跑完算断”,这类假死好定位很多。
|