Agent 评测中如何判断任务真正完成？产业界和学术界有哪些实践？

核心原则是判断任务是否完成要独立于 Agent 自己的说法，看它背后的执行轨迹是否合理。产业界把评测接入研发流程：Datadog 的 Bits AI Eval 持续评测本平台的告警、拓扑、日志和调查能力，失败样本交给产品团队复测修复；ServiceNow、Elastic、Dynatrace 连接离线题集、线上回放、人工复核和版本门禁，典型链路是数据集到评分器再到版本回归。学术界从静态数据走向 Agent 过程：RCAEval、OpenRCA 关注根因与证据，AIOpsLab、ITBench 提供可执行环境，SREGym、OpsEval 3.0 强调实时与分层。跨领域 Agent 的启发来自 SWE-bench（看测试是否通过）、AgentBench（多环境任务完成度）、BFCL（工具选择与调用结果）、τ-bench（状态变化和规则约束）。在 BRiSE 的流水线中，三个角色分工明确：Benchmark 应用复现真实对象与故障数据，OpsAgent 作为被测对象执行证据查询与根因推理，BRiSE 固定环境、数据和评分口径统一评分，从而分别检查题目有效性、Agent 行为和结果判定。