某客户在多个地域的Logstore中存储数据库审计日志,使用Flink SLS Connector跨地域拉取全量数据进行流计算。实际上客户只需要部分数据库实例的日志,仅占全量的10%,意味着90%的公网流量是不必要的开销。解决方案是在Flink SLS Connector中配置SPL过滤语句实现数据过滤下推。SPL在SLS服务端完成规则过滤,只将客户需要的10%数据传输到Flink端。由于SPL规则计算服务与日志存储服务在同机房部署,过滤操作在极低网络延迟下就近完成。效果包括:公网流量减少90%大幅降低费用、Flink端数据量减少90%加速处理、本地状态存储降低增强系统稳定性、分析历史数据时处理耗时显著缩短。这种过滤下推方式在非公网条件下同样可以提高计算性能。
加载中...