RCA-Bench 是 STAROps 设计的根因定位能力评测基准。当前公开的 RCA-100 包含 103 个故障用例,覆盖 6 大类、28 类故障类型。每个用例记录了根因对象、故障类型、传播路径和关键证据,Agent 需要在可查询环境中自己决定调查方向。评估分别看三件事:根因对象是否找对、故障原因判断是否正确、调查过程是否有证据支撑。约 82% 的综合分由确定性规则(基于 UModel 实体关系和故障类型关系)计算,LLM 只辅助判断调查方向和证据充分性,避免让一个模型完全评判另一个模型。
CNOps |
RCA-Bench 是 STAROps 设计的根因定位能力评测基准。当前公开的 RCA-100 包含 103 个故障用例,覆盖 6 大类、28 类故障类型。每个用例记录了根因对象、故障类型、传播路径和关键证据,Agent 需要在可查询环境中自己决定调查方向。评估分别看三件事:根因对象是否找对、故障原因判断是否正确、调查过程是否有证据支撑。约 82% 的综合分由确定性规则(基于 UModel 实体关系和故障类型关系)计算,LLM 只辅助判断调查方向和证据充分性,避免让一个模型完全评判另一个模型。