SPL规则消费已经与多个数据消费类产品完成集成。阿里云Flink:通过Flink SLS Connector直接配置SPL语句实现过滤下推,支持行过滤、列裁剪和弱结构化分析等场景。Dataworks:在数据集成的SLS数据源中支持SPL预处理。Splunk HEC:在投递日志到SIEM系统时支持SPL过滤。多语言SDK:Java、Python、Golang三种语言的SDK均已完成SPL规则消费适配,支持实时消费接口和消费组接口两种方式直接配置SPL。在Flink中使用SPL非常简单,只需在Flink SLS Connector的配置中添加SPL语句即可。SPL会在SLS服务端执行过滤和清洗,只将处理后的数据发送到Flink端,减少Flink的计算和状态存储负担。未来还计划支持Flume、Logstash等更多开源生态。
加载中...