7 月 9 日， OpenAI 主动承认用于代码评测的 SWE-Bench Pro 有约 30% 的任务有缺陷，导致分数失真，不再推荐它作为前沿模型的主要评测标准
JoeJoeJoe ·PRO
 |
1
HHHans Jul 9
是不是测完发现自己的 5.6 跑分打不过 Fable
|
 |
2
loveshuyuan Jul 9
打不过 = 测试用例有问题
|
 |
3
diudiuu Jul 9
大家都有 30% = 没有缺陷
|
 |
4
zhmouV2 Jul 9
xai 发 grok4.5 的 benchmark 里面 SWE Pro 5.5xhigh 打不过 glm5.2
|
 |
5
JoeJoeJoe OP PRO |
 |
6
paopjian Jul 9
我就好奇他们这测试集发出来没做过人工审查么, 没审查过也敢做指标, 现在好怕各种模型把测试集都练了, 那评估个屁
|
Select Language