SLS 写入处理器允许在数据写入 Logstore 之前对数据进行实时处理,功能类似于 Elasticsearch 的 Ingest Pipeline 但性能更高。其典型应用场景包括:合规前置处理,如在海外侧完成 IP 到地理位置的转换以及敏感信息脱敏;数据过滤,剔除无效或低价值数据以减少下游索引与存储开销;结构化抽取,将原始字段加工为可分析的指标、解析嵌套 JSON 等,避免查询时重复计算。SLS 的写入处理器以 SPL 引擎作为内核,具备列式计算、SIMD 加速、C++ 语言实现等性能优势。在弹性方面,它不仅支持 Pod/CU 粒度的伸缩,还能按 DataBlock 粒度(MB 级别)快速弹性扩缩,确保在数据洪峰时也能保持处理性能。
加载中...