评估的意义
在过去程序的开发中，大家用测试来保障程序质量与程序员今晚不会被 oncall 可以安全下班的自信。而现在评估对于 Agent 也是一样意义。
除了保障功能本质，迭代功能本身也需要评估。换模型、调提示词，同一套用例跑一遍看分数在哪些用例是差一点，在哪些指标上更好了。
Langfuse 与 BrainTrust 有什么问题
尽管现在市面上已经有了 DeepEval 、LangFuse 、BrainTrust 。但是它们是 Prompt Enginering 时代的产物，现在 Agent 评估套进 Dataset 还有 Golden 的模型会非常别扭。
随着开发范式收敛，Agent 胜出，所以我做了 NiceEval ，是一个开源、专为 Agent 设计的估计工具。 在 Agent 需要评估多轮对话、工具调用还有 Skill 加载的场景，都能被很好的解决了。
import { defineEval } from "niceeval";
export default defineEval({
description: "实时天气必须走 get_weather 工具，不许编造",
async test(t) {
const turn = await t.send("北京今天天气怎么样？");
t.succeeded();
t.calledTool("get_weather", { input: { city: "北京" } });
t.notCalledTool("web_search");
t.eventOrder(["action.called", "action.result", "message"]);
t.messageIncludes(/°C|晴|多云|雨/);
await t.group("预算内完成", () => {
t.maxToolCalls(2);
t.maxCost(0.05);
});
t.judge.autoevals
.closedQA("助手是否给出了具体的天气数据，而不是含糊其辞？")
.atLeast(0.7);
},
});
用 NiceEval 快速接入你的应用
在 NiceEval 里，写一个 Adapter就能把自己的 Agent 系统接进来。可以非侵入式的快速开始。来实现测试不同模型在相同评估用例下面的表现。
如果你还想更进一步，测试在不同 Prompt 、不同记忆算法下的表现。在 NiceEval 也是非常好实现的。 在 Exp 中定义 flag ，然后在 Adapter 把 Flag 传给你的 Agent ，然后使用不同的逻辑就可以了。
// experiments/prompt-v1.ts
export default defineExperiment({
agent: webAgent({ baseUrl: "https://staging.example.com" }),
model: "gpt-5.4",
flags: { promptVersion: "v1" },
});
// experiments/prompt-v2.ts
export default defineExperiment({
agent: webAgent({ baseUrl: "https://staging.example.com" }),
model: "gpt-5.4",
flags: { promptVersion: "v2" },
});
评估与看结果
pnpm exec niceeval exp 实验名
pnpm exec niceeval view
结束
给我一个 ⭐ 吧: https://github.com/CorrectRoadH/NiceEval
Select Language