• 请不要在回答技术问题时复制粘贴 AI 生成的内容
yohjisakamoto
V2EX  ›  程序员

How GPT-5.6 sol token is used in Codex

  •  
  •   yohjisakamoto · 6h 3m ago · 340 views

    我在 Codex CLI 上做了 280+ 次 GPT-5.6 Sol 测试。当前版本似乎仍有会增加 token 消耗的问题。

    在多数基准中,GPT-5.6 Sol 的成本效益优于 GPT-5.5 。以 DeepSWE 为例:5.5 High 平均每任务 5.1 美元,5.6 Sol High 为 3.5 美元;但在 Codex CLI 0.144.1 ,我测到 5.6 Sol High 反而比 5.5 High 高约 21%。

    https://preview.redd.it/how-gpt-5-6-sol-token-is-used-in-codex-v0-pghf32p14meh1.png?width=1080&crop=smart&auto=webp&s=1b501ae165714278d0e824a224f72fcb4dc730be

    https://preview.redd.it/how-gpt-5-6-sol-token-is-used-in-codex-v0-esic3oac7meh1.png?width=1080&crop=smart&auto=webp&s=ffc29d6fdd8f3123f5eaec520889b470f1a9c406

    可能原因是:5.5 明确使用 multi_tool_use.parallel,一轮可发出多个顶层工具调用; 5.6 多以单一顶层 exec 编排,因此每次 LLM 调用运行的命令更少( 0.97 vs 2.5 ),同一任务的轮次却约为 1.84 倍。5.6 Sol High 的花费中约 66.5% 是缓存输入 token 。

    代码位置: https://github.com/openai/codex/blob/rust-v0.144.1/codex-rs/core/src/tools/code_mode/execute_handler.rs#L20-L72

    我也测试了 Ponytail 、Caveman 、RTK 等省 token 插件,几乎没有降低消耗。真正有效的是在不损失结果的前提下减少 LLM 轮次。

    完整报告: https://turaai.net/docs#benchmark-current-test-set-record

    No Comments Yet
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   3238 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 77ms · UTC 00:30 · PVG 08:30 · LAX 17:30 · JFK 20:30
    ♥ Do have faith in what you're doing.