IngestProcessor(写入处理器)是阿里云日志服务提供的一种云端数据处理方案。其工作原理是将正则提取等计算密集型操作从客户端转移到日志服务云端执行。使用时,iLogtail 仅负责多行日志的采集和发送,不进行正则解析,而由 IngestProcessor 在服务端完成字段提取。这样 iLogtail 仅需 1 个线程即可实现 320MB/s 的采集速度,相比传统方案的 16 线程减少了 93.75% 的 CPU 占用。IngestProcessor 使用与 iLogtail 相同的 SPL 语法,可以直接将 iLogtail 的 SPL 语句复制过去实现快速迁移。除正则提取外,它还支持字段扩展、字段丢弃、数据脱敏和数据过滤等功能。需要注意的是,IngestProcessor 不支持日志聚合且需要额外计费。
加载中...