iLogtail SPL是iLogtail 2.0版本新增的处理模式,SPL是一种专为日志这类非结构化数据设计的流式处理语言。SPL的设计受到了Unix管道的启发,在iLogtail中,一条日志数据从数据源被采集上来后,会经过一系列处理操作像管道一样最终流向下游存储。SPL提供了8种数据处理指令,包括正则解析、JSON解析等常见功能,同时兼容大部分SQL指令,提供了110个SQL中常见的数据解析和处理指令。除了语言本身的灵活处理功能外,iLogtail SPL使用了大量高性能技术,通过SIMD等并行化计算在保持灵活性的同时兼顾了高性能。SPL的管道式设计天然适配了日志处理的场景。




