在弱结构化日志处理场景中,SPL方案具有多方面优势。对比数据加工方案:数据加工需要在SLS中创建额外的目标Logstore存储清洗后的数据,产生额外的存储成本和运维开销。SPL方案直接在消费过程中完成清洗,无需中间Logstore,数据只存一份。对比纯Flink方案:Flink方案需要将原始字段映射到源表,然后用Flink SQL的正则函数和JSON函数解析,解析结果写入临时表后再分析,SQL逻辑复杂且维护困难。SPL方案在数据到达Flink前就完成了清洗,Flink源表直接定义清洗后的字段结构,SQL专注于业务分析。SPL方案的核心价值:轻量化无需额外资源、易维护SPL管道式语法直观、易扩展增加清洗逻辑只需添加管道、职责清晰数据清洗在数据源端完成、减少网络传输因为过滤和裁剪在源端执行。SPL还支持在SLS扫描模式下实时预览调试。
加载中...