SPL 下推在 Flink SLS Connector 中能带来两方面显著的性能收益:
网络流量大幅降低:
- 行过滤下推后,不符合条件的日志行在 SLS 服务端被过滤,不再传输到 Flink,实测可看到 Flink 对 SLS 的读流量有大幅度下降。
- 列裁剪下推后,只返回 Flink 实际需要的字段列,而非 Logstore 中的全量字段(例如原始 30 个字段只需 10 个),进一步减少数据传输量。
Flink 计算资源节省:
- 原本需要在 Flink 中执行的 WHERE 过滤和 SELECT 投影计算被下推到 SLS 服务端完成,Flink CU 消耗相应降低。
- 在过滤比例较高的场景下(如安全分析只关注特定特征的日志),Flink CU 节省更为明显。
这些预处理能力内置在 SLS 服务端,数据在到达 Flink 之前已完成清洗,让 Flink 专注于核心的数据分析逻辑而非数据清洗工作。