试了新的 5.6 的 SOL 发现也就呢样,做不到的还是做不到,就是 codex 看上去比之前花哨了点,整体上还是不如 Fable 5,只能期待下后续可能的 GPT 6 ,ai 的这些小版本更新没什么大的进步,只能等大版本了
试了新的 5.6 的 SOL 发现也就呢样,做不到的还是做不到,就是 codex 看上去比之前花哨了点,整体上还是不如 Fable 5,只能期待下后续可能的 GPT 6 ,ai 的这些小版本更新没什么大的进步,只能等大版本了
1
hrjlhy 19h 2m ago 你自己做个比 GPT 屌的模型呗
|
3
1874w 18h 57m ago
经典踩一捧一。
|
5
testsb 18h 50m ago
|
6
testsb 18h 49m ago
|
8
codingBug 17h 58m ago
难怪 5.6 要一拖再拖
|
9
kongkx 17h 55m ago via iPhone
个人感觉 sol high 不行,还贼耗 token
|
10
soulflysimple123 17h 44m ago
|
11
lscho 17h 37m ago via Android 模型能力是多边形的,一个人的使用场景根本无法覆盖所有场景,所以根据自己的体验下结论就很尬。
就我个人而言,GPT5.6 的多模态和生图能力是超过 fable 的。。做游戏的素材生成,设计稿还原提升很大。 当然写代码方面相比 5.5 提升很小 |
12
yooomu 17h 22m ago
指令遵循反而退步了,主动性太高,很容易做出意外的操作。而且真的太慢了,梦回 gpt 5.2 。开 fast 好点,但是额度禁不起烧
|
14
hero0earth 13h 9m ago
这东西就是个弱智,跑了 2 天,我的 100 多个 case 一个都没给我交付,我都不知道他在搞什么。明明一个 case 一个 case 的做,老早就做完了,他倒好,定义这测试那,看着是在做事,昨天一天烧了我 20 亿 token 。我今天等不及了,问他现在交付了几个 case ,好家伙,0/160
|
15
409164 13h 6m ago via iPhone
目前最好用的 ai
|
16
canyue7897 11h 21m ago
@hero0earth 同感,不知道这货是干啥,每次思考时间都很久。无奈,开了 5.5 继续蹬。慢的让人发指了。现在感觉逼着开多个了,写个提示词,下次执行完估计得一两个小时了。
|
17
buru PRO 体感就是慢,是我开思考太高档的原因吗
|
18
FlashEcho 11h 19m ago
@testsb #5 Arena 更是最野榜的野榜,完全靠用户的问题打分评价,都没有专业人员设计过确定的题目和确定的输入输出。尤其是 code 的场景,更是完全不贴用户的使用体验。要么是不能很好地考察模型的 agent 能力,而且它的场景基本上都是用户从零开始构建一个工程,和在已经现有的代码库上进行操作完全不同
|
22
testsb 9h 37m ago
@xing7673 @willxiang
https://arena.ai/leaderboard/text/overall 这个是综合能力,就像 #11 楼的朋友说的: "模型能力是多边形的,一个人的使用场景根本无法覆盖所有场景,所以根据自己的体验下结论就很尬" 你们可能更关注 coding ,得看 https://arena.ai/leaderboard/text/coding |
23
DiKaErJi 9h 33m ago
额度消耗的太快了,我一个小任务都做不完就没了
|
24
testsb 9h 24m ago
@FlashEcho 榜单评测方法有两面性,我觉得各个榜单有各自的优劣。
Arena 靠用户投票,基本就是大多数人的体感了,因为每个人使用场景不同,所以这种方式优势是测试集多样,相反缺点也是测试集不固定,横向直接比较说服力低,这也是你吐槽的点吧。 而做特定测试集的那些榜单,测试集固定结果清晰,很方便模型的直接横向比较,这是优点,但也不是完美的,因为模型多迭代几代很容易把某些测试变成考卷考试,做针对性优化。 这次 GPT 5.6 据说就针对某些榜单做过针对优化,而且还针对性的改了某些榜单的测试基准。相当于不仅考卷,还自己改了考题。 |
26
eventlooped 8h 47m ago
深度使用一天,fable5 还是明显更强
|
27
hd10180 7h 59m ago
@hero0earth 太赞同了
|
28
x4gz 7h 56m ago
高级别很容易就思考过度 然后做一些更复杂的逻辑 结果 token 花了 任务没完成😅
|
29
aireason 6h 59m ago
有些任务做很久出不了结果,但是如果是一个比较容易收敛的任务,质量很高。
所以关键就在于,它经常无法自己收敛,有点像数学里的级数或极限,得学会让他自己收敛,避免过度思考。 |
30
witcherhope 6h 55m ago via iPhone
综合能力用应该是最屌的
|
31
azraeljack 6h 34m ago
sol 实在是太慢了,开 fast 都很慢,有种早期 GPT 5 xhigh 的感觉。而且经常会过度思考。能力是在线的,但是总体来说体感确实不如 fable 。
|
32
tarikzhang 6h 5m ago
@canyue7897 一样的体感,以前 5.5 几分钟完成的事情,现在 5.6 要半小时甚至一小时,token 消耗还特别大,不过发现 sol 的 high 指定的方案确实比 5.5 会完善一些。现在打算 5.6 写方案,5.5 写代码
|
33
isbase PRO 两者深度用下来,codex 桌面 app 相比 claude code 最大的优势在于流畅的 computer use / chrome control 能力。
claude code 自带的这方面能力就很捉急了。 |
34
maolon 1h 50m ago
不如 fable5 过分了点吧,至少在我这 5.6 sol 揪出来不少 fable5 的问题,特别是数据分析建模方面,fable5 的问题不少
|