SLS的SPL规则消费是一种在实时消费过程中,通过配置SPL(SLS Processing Language)语句在服务端完成数据清洗和预处理的功能。其核心思想是将客户端复杂的业务逻辑「左移」到服务端,大幅降低客户端的复杂性和计算开销。核心价值包括两方面:低代码可编程,SPL提供简单的管道式语法,客户端以低代码方式优化数据清洗逻辑;高性能,基于高性能计算技术在数据源头进行清洗和过滤,在不明显增加延迟的前提下提升消费效率。功能优势覆盖:通过where和project指令实现行过滤和列裁剪、正则表达式字符串匹配和提取、JSON数据深度解析、兼容大部分SQL函数(字符串、日期时间、条件表达式、类型转换等)、以及数组与结构体的深度操作(MAP映射函数和Lambda表达式)。
加载中...