SPL规则消费在两个方向上有明确的优化计划。SPL Processor集成:随着用户将更多数据清洗逻辑通过SPL左移到存储层,SPL将放开更长的语句限制,同时支持将SPL语句存储在SPL Processor中。用户在实时消费时只需指定对应的processorId即可实现SPL消费,无需在配置中书写完整的SPL长语句,简化了配置流程并支持代码复用。持续性能提升:过滤操作在数据清洗场景中占有重要比例,不仅节省网络延迟和流量,还减少下游计算量。团队将针对过滤场景进行深度优化,目标是将过滤场景的实时消费延迟再降低50%。在生态集成方面,计划支持Flume和Logstash等更多开源生态基于SPL消费SLS日志,进一步扩大SPL规则消费的适用范围。
加载中...