现有开源 Benchmark(如 OpenRCA 1.0/2.0、SREGym、AIOpsLab)主要围绕故障根因定位(RCA),但内部使用数据显示日常运维中巡检和异常分析占约 70%,数据查询约 10%,故障诊断约 10%,现有基准极少覆盖占比最大的巡检场景。BRiSE 按证据复杂度分层构建三类任务集:数据查询(L2)1,360 道任务,记录对象、时间范围、可用工具、预期结果和查询正确率,例如查询指定应用过去 30 分钟的错误率;巡检与异常分析(L3)418 个任务,覆盖 11 类证据源、19 个技术域、1,576 项可观测证据信号,例如识别 K8s Pod 重启、从日志聚类找出突增异常模式;故障诊断(L4)764 个 Case,覆盖 150+ 类故障、20+ 云产品,每个 Case 记录故障环境、Ground Truth、证据链和过程评分器。每级任务都能在固定对象和时间范围内复跑,可在不同模型、Harness 和查询工具之间复用。针对故障诊断还发布了 RCA100/200 数据集,访问来源覆盖 36 个国家或地区、92 个城市。




