SPL提供了丰富的数据处理指令,主要包括以下几类:
非结构化数据提取指令:
parse-regexp:提取指定字段中的正则表达式分组匹配信息parse-json:提取指定字段中的第一层JSON信息parse-csv:提取指定字段中的CSV格式信息
结构化数据SQL计算指令:
extend:通过SQL表达式计算结果产生新字段where:根据SQL表达式计算结果过滤数据条目
字段操作指令:
project:保留与给定模式匹配的字段或重命名字段project-away:移除与给定模式匹配的字段project-rename:重命名指定字段
SPL还兼容大部分SQL函数(已全面对齐SLS SQL语法函数),通过管道符将多条指令串联,实现递进式数据探索和处理。




