在Flink SLS Connector中使用SPL处理弱结构化日志,只需在CREATE TEMPORARY TABLE的WITH子句中配置query参数为SPL语句即可。SPL使用管道式语法(|分隔),可以依次执行多个数据处理操作。常用指令包括:project选择保留字段、parse-json展开JSON字符串、parse-regexp通过正则表达式提取字段、project-rename重命名字段、extend使用函数创建新字段、project-away删除字段。配置后Flink源表的字段定义直接对应SPL处理后的结果结构,数据在SLS端完成清洗后直接以结构化形式传入Flink。需要注意在Flink控制台中SPL语句的单引号需要使用单引号转义,并消除换行符。




