V2EX = way to explore
V2EX 是一个关于分享和探索的地方
现在注册
已注册用户请  登录
爱意满满的作品展示区。
Bazingawang
V2EX  ›  分享创造

OpenAI 联合 SWE 发布 AI 软件工程能力测试集, Gru.ai 荣登榜首

  •  
  •   Bazingawang · 8 天前 · 661 次点击

    在 9 月 3 日,Gru.ai 在 SWE-Bench-Verified 评估最新发布的数据中以 45.2% 的高分排名第一。SWE-Bench-Verified 是 OpenAI 联合 SWE 发布测试集,旨在更可靠的评估 AI 解决实际软件问题的能力。该测试集经由人工验证打标,被认为是评估 AI 软件工程能力的最权威标准。 image

    本次参评登顶的 Coding Agent 是来自 Gru.ai 的 Bug Fix Gru 。根据 Gru 团队的博客,他们提供给 Bug Fix Gru 完整的运行环境及丰富的开发工具,这是获取高分的基础,而工作流程,多模态支持,Rag 能力的添加都有效提高了得分。值得关注的是,Gru 团队着重提到了他们有一个评估流程来评估任何改动带来的影响。

    Gru.ai 是一家提供软件工程 Agent (智能体)的公司,提供四种 Agent:

    • Assistant Gru:帮助用户解决独立的技术问题,该产品可直接在网站注册使用。
    • Test Gru:基于用户代码补全单测的 Agent ,目前该产品仅面相企业开放。
    • Bug Fix Gru:基于 Github Issue ,直接提交 Patch ,目前该产品仅面向企业开放。
    • Babel Gru:基于技术文档生成软件,目前该产品仍处于实验室阶段。

    Gru 在今年一月披露了一笔 550 万美金的融资,投资方为云九资本和峰瑞资本。在 2023 年到 2024 年两年间,国际上大量的资金涌入代码 Agent 领域,如 Devin 、Cosine.sh 、Factory 、Codium.ai 等,但国内针对软件工程领域 AI 的投资仍然较少。Gru 团队拥有丰富的软件工程和 AI 实践经验,CEO 张海龙曾是开源中国及 Coding.net 创始人。 随着资金和大公司的视线逐步从大模型转向上层应用,AI 行业的主要进步方向已经开始转向处理复杂精密的任务,而非简单的生成文本内容。而 Gru.ai 的成功登顶,标志着国人团队在 Agent 领域的工程技术能力处于第一梯队。

    目前尚无回复
    关于   ·   帮助文档   ·   博客   ·   API   ·   FAQ   ·   实用小工具   ·   3892 人在线   最高记录 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 36ms · UTC 00:58 · PVG 08:58 · LAX 17:58 · JFK 20:58
    Developed with CodeLauncher
    ♥ Do have faith in what you're doing.