CnOps 社区
首页开源项目实践文章视频课程常见问答开发者工具
导航菜单
首页开源项目实践文章视频课程常见问答开发者工具

CnOps 社区

愿景

CnOps 社区是一个以"智能运维与可观测"为核心的开放、包容、分享的技术社区,旨在聚集运维专家、开发者和爱好者,共同探讨、学习和分享可观测最佳实践与最新技术,与众多技术社区合作互动,共同探讨交叉领域的技术挑战,推动可观测领域的创新与进步。

内容社区

  • 实践文章
  • 视频课程
  • 开源项目
  • 常见问答
  • 开发者工具

友情链接

  • Prometheus
  • Grafana Lab
  • OpenTelemetry
  • LoongCollector

关注我们

阿里云云原生公众号阿里云云原生
阿里云可观测公众号阿里云可观测

Copyright © 2026 CnOps 社区. All rights reserved.

首页问答Flink + SLS 构建实时监控体系为什么要采用分层聚合架构?

Flink + SLS 构建实时监控体系为什么要采用分层聚合架构?

#Flink#分层聚合#实时监控#数据倾斜#SLS

CNOps | 2026-03-19

分层聚合架构(地域化处理 + 中心化汇聚)是应对大规模实时监控的最佳设计,核心考虑是平衡实时性与资源效率。具体原因包括:

解决数据倾斜问题:OpenAPI 流量分布极不均匀,某些大产品(如 ECS)的 QPS 是其他产品的数千倍。如果直接按 Product 进行 GroupBy,会导致特定 Flink Task 出现严重的数据倾斜和状态膨胀。通过第一层先按物理节点进行局部聚合,有效缓解了数据倾斜。

提升资源效率:第一层在各地域内完成高维度细节聚合,将 TB 级原始日志压缩为 GB 级聚合数据(数据量减少 99%),大幅降低跨域带宽成本。第二层仅需跨域传输轻量级指标数据。

保障隔离性:各地域计算独立,单地域故障不影响其他地域及中心监控的写入,确保系统整体的高可用性。

该方案在阿里云 OpenAPI 网关生产环境中已验证,支撑 60+ 地域、300+ 产品的全局监控,端到端延迟 P99 < 30 秒。