自定义容量风险巡检设计最佳实践

对话回放：discovery 与能力边界 ｜ Runtime Skill 构建 ｜ Mission 执行与报告

容量风险巡检用于在资源触达阈值前识别风险，并把预测结果转成可运营的容量事件。它关注未来窗口：按当前趋势、季节性和业务增长速度，哪些对象会触达阈值，哪些业务链路会被共同上升的负载拖入风险。

在 STAROps 中设计并部署自定义容量风险巡检 Mission，需要先完成 Mission 设计，明确巡检意图、产品范围、数据源、阈值和预测脚本；再部署 Mission，配置输入数据源和启用的巡检列表，首次运行后检查报告是否符合预期。

数值预测交给 SLS 时序算法执行。容量风险巡检应使用 series_describe 判断序列质量、连续性、稳定性、周期性和显著趋势，使用 series_forecast 生成未来窗口预测值、预测上界、预测下界和错误信息。STAROps 负责把预测事实关联到业务、服务、资源、owner 和 UModel 关系，形成可复核、可通知、可持续运营的风险报告。

适用场景

实践收益

完成配置后，容量运营可以从当前水位报表升级为长期预测 Mission。团队定期得到以下结果：

前提条件

创建容量风险巡检 Mission 前，先准备以下信息。STAROps Agent 可以辅助 discovery、脚本编写和验证，但每个对象最终都要有可用、降级或排除结论。

容量指标的阈值来源不同，报告必须标清来源。

整体流程

容量风险巡检 Mission 分为两个阶段。

1. Mission 设计阶段：对齐巡检意图，确定产品和对象范围，确认数据源、指标、阈值和 UModel 关系，让 STAROps Agent 生成或调整预测脚本 / Runtime Skill，并用真实对象测试验证。
2. Mission 部署与首次运行阶段：创建长期 Mission，配置输入数据源和启用的巡检列表，立即执行一次，检查报告、通知和降级行为，再打开周期调度。

查看整体流程图

阶段一：Mission 设计

设计阶段要完成三件事：通过 discovery 确认对象、数据源、阈值和关系；沉淀 Mission Profile，作为长期任务每次运行的输入契约；让 STAROps Agent 生成或调整预测脚本 / Runtime Skill，并用真实对象验证 Profile 与执行逻辑是否匹配。

设计阶段需要给每个对象输出三类结论：

• 可运行：数据源可读，序列可构造，阈值来源明确。
• 降级运行：预测可做，但缺少部分维度、拓扑或阈值，需要在报告中标注。
• 暂不纳入：缺少历史数据、关键字段未索引、权限不足或阈值无人确认。

预测脚本或 Runtime Skill 只有通过真实对象验证后，才能进入 Mission 部署。未验证的脚本可以作为设计产物保留，不能作为生产 Mission 的当前可用能力展示。

Profile 与 Skill

Mission Profile 不是 discovery、create skill 或验证过程的总称。它是长期 Mission 的配置契约，承接 discovery 的结果，约束 Runtime Skill 或预测脚本每次怎么运行，并在验证后被修正。

三者关系如下：

执行顺序可以按下面的方式理解：

1. 先做 discovery，确认本次 Mission 想管哪些产品、对象和风险。
2. 根据 discovery 结果形成 Mission Profile 初稿。
3. 让 STAROps Agent 根据 Profile 生成或调整预测脚本 / Runtime Skill。
4. 用真实对象运行一次或多次测试，验证取数、序列质量、预测结果、风险归并、影响面、报告和通知。
5. 根据验证结果修正 Profile、脚本、启用列表、阈值和候选维度。
6. Profile 与 Runtime Skill 都通过验证后，再进入 Mission 部署。

验证失败时，要先判断问题落在哪一层：

阶段二：部署与首跑

部署阶段把设计阶段的 Profile 变成长期任务。创建 Mission 时，重点检查两类配置：输入数据源和启用的巡检列表。输入数据源决定 Mission 能读取哪些 Store、指标、日志和业务计数；启用列表决定本次长期任务实际覆盖哪些产品、对象和风险类型。

Mission 创建后，不建议直接进入无人值守周期运行。先立即执行一次，检查数据读取、序列质量、预测结果、风险归并、UModel 影响面、Investigation handoff、报告结构和通知策略是否符合预期。首次运行发现数据源、阈值、启用列表或脚本问题时，回到设计阶段修正。

影响面下钻

曲线预测由 SLS 的 series_describe 和 series_forecast 完成。STAROps 通过 UModel 的多维数据关联，在某个 RDS 实例、K8s workload、网关路由、Logstore 或 OSS bucket 被预测为触阈风险时，继续定位受影响业务、关联服务和接口、负责人、共同业务链路，以及上涨主要由哪些维度推动。

UModel 在容量风险巡检中承担三类工作：

上涨原因下钻需要结合候选维度和只读查询。例如业务 QPS 上涨时，Agent 可以检查 route、tenant、caller、namespace、region、bucket、owner 等维度；资源指标上升时，Agent 可以沿 UModel 关系检查同一业务链路上的网关、应用、数据库、缓存、日志写入和对象存储趋势。

周期运行环节

周期运行按 Mission Profile 执行，不重新临场猜数据源、指标或阈值。

Runtime Skill 或预测脚本每次运行按以下顺序执行：

1. 读取 Mission Profile，确认巡检对象、启用列表、时间窗口、粒度、阈值来源和通知策略。
2. 从 MetricStore、Prometheus、Logstore、APM、产品 API 或业务指标表取数。
3. 构造等间隔时间序列，记录不可构造对象及原因。
4. 调用 series_describe 判断序列质量、连续性、稳定性、周期性和显著趋势。
5. 调用 series_forecast 生成未来窗口预测值、预测上界、预测下界和错误信息。
6. 结合阈值来源计算风险等级、预计触阈时间和剩余响应窗口。
7. 按业务、服务、资源、时间窗、owner 或 UModel 关系归并风险。
8. 对既有路径无法充分解释的风险事件交给 InvestigationAgent，补充影响面、主贡献维度、支撑证据、反证和缺口。
9. 生成 Mission 报告，Normal 归档，Warning / Critical 或联动事件通知。

触发 InvestigationAgent 的典型条件包括：

• 预测上界在近期触达 Warning / Critical。
• 同一业务链路上多个对象同步上升。
• 业务 QPS 上涨同时伴随延迟、错误率、CPU、内存或队列恶化。
• 阈值来源不完整，需要确认产品配额、规格或业务容量目标。
• 预测结论和业务认知冲突，需要补证据和反证。

InvestigationAgent 用于既有 Skill、脚本或 Mission 路径无法覆盖的情况。它负责开放调查、补证规划和未知路径探索，不替代确定性预测脚本的常规路径，也不在证据不足时强行给唯一结论。

联动归并

容量风险经常表现为同一业务动作在多个系统上留下共同趋势。例如网关 QPS、应用 CPU、RDS IOPS、Redis 命中率、OSS 访问量、SLS 写入量在同一时间窗一起上升。单看每个产品可能只是 Warning，合起来就是一次业务增长或异常流量引发的容量风险事件。

联动识别按三步执行：

1. 对所有预测结果对齐到同一时间粒度，保留预测值、上界、触阈时间和序列描述。
2. 按共享业务、服务、owner、region、namespace 或调用关系归并上升趋势。
3. 对同步上升、多点逼近阈值且既有路径无法充分解释的事件启动 InvestigationAgent，补充维度、变更、拓扑和日志证据。

联动必须有共享业务、实体关系、时间窗或维度组合支撑。报告不能为了制造跨域结论强行拼接无关资源。

报告结构

容量风险预测报告按风险事件组织。一个风险事件可以包含多个产品的预测结果。

报告需要区分事实、解释和建议：

• 事实来自 SLS 预测结果、阈值来源、序列质量和真实取数。
• 解释来自 InvestigationAgent 对 UModel 关系、候选维度、拓扑、日志、变更和反证的综合判断。
• 建议进入客户自己的变更流程，由用户确认后执行。

降级与边界

容量风险预测宁可降级，也不能把缺口写成成功。

实施边界：

• 全流程只读，不执行扩容、限流、配置修改或生产变更。
• SLS 函数可用性、参数约束、历史窗口长度和序列数量上限以目标实例实际支持为准。
• 没有阈值来源的绝对数值只能标为待配置或需确认，不能直接给出 Critical。
• 单个 QPS 上升不能直接判为业务容量风险，必须结合延迟、错误率、资源水位、队列或业务基线等信号。
• 跨产品联动必须有共享业务、实体关系、时间窗或维度组合支撑。
• 处置建议需要人工确认后执行。
• 涉及用户、订单、金额、AK、IP 等敏感信息时，只展示脱敏标识和聚合统计。

上线验收

上线前至少完成以下检查：

安装 Skill

本实践落地两份 Skill，职责不同，不能互相替代。capacity-risk-prediction-sop（Guide）支持本地 Agent 与 STAROps 控制台两种安装；capacity-risk-prediction（Runtime）仅支持 STAROps 控制台上传 tar.gz，本地 Agent 不支持。本地 Agent 走 npx skills，STAROps 数字员工下载 tar.gz 后在控制台「技能管理 → 上传技能」上传。

相关入口

• SLS 时序数据查询和分析语法
• SLS SPL 函数
• 返回 STAROps 最佳实践首页
• 进入 STAROps 控制台