最近两天用 ChatGPT 的时候,感觉有点奇怪,想问一下大家有没有类似情况。
我的使用场景比较偏工程开发,主要是维护一个长期项目。之前一直用 ChatGPT 辅助处理一些比较复杂的事情,比如根据项目当前状态继续推进、整理任务、生成一些操作指令。
但是昨天和今天明显感觉不太对。
举一个刚刚遇到的例子:
我在上下文里已经记录了一些语言版本已经完成了,结果让它继续安排下一批任务时,它直接把已经完成的几个语言又列成“即将新增”。
这个有时候感觉连当前状态都没有正确理解。
类似的问题最近还遇到几次:
忘记前面已经确认过的信息;
把旧计划当成最新状态;
输出很多看起来很完整的话,但实际上和当前情况不匹配;
或者只重复说明规划,就是不执行。
以前遇到长上下文任务时,虽然偶尔会犯错,但整体还能跟着项目走。最近感觉有时候像是换了一个模型,能力下降比较明显。
不知道是不是:
我一个任务要执行 20 分钟,太久了,额度使用得太厉害了?
最近模型 rollout 有变化?
路由到了不同版本?
长上下文能力调整了?
还是我刚好遇到了异常情况?
想问一下大家最近有没有类似感觉?
尤其是:
长对话;
长期项目维护;
代码开发;
多步骤任务。
有没有出现“明明前面说过,但模型像没看到一样”的情况?
昨天出现了。今天下午又出现了。感觉我都快变成 OpenAI 的测试工程师了。最近一直在与其支持团队邮件沟通,感觉其支持团队也是外包的。完全不看前面的几封邮件,给我乱回复。