SLS SPL 的能力不仅限于 Flink Connector 下推,它可以在多个场景中使用:
- Logtail 采集端:在数据采集阶段就使用 SPL 进行预处理,如字段提取、格式转换、数据过滤等,减少上传到 SLS 的数据量。
- 查询扫描(Scan 模式):在 SLS 的查询扫描场景中使用 SPL 进行数据处理和分析。
- 流式消费场景:除了阿里云 Flink,其他消费 SLS 数据的应用也可以利用 SPL 进行数据预处理。
在数据处理能力上,SPL 支持:
- 正则字段、JSON 字段、CSV 字段的展开和提取
- 数据格式转换和类型转换
- 列的增加、减少和重命名
- 基于 SQL 表达式的行过滤和数值计算
SPL 的设计目标是让用户在采集端、消费端都能使用统一的处理语言,实现端到端的数据预处理能力,而不仅仅是在分析阶段才能操作数据。