CnOps 智能运维与可观测社区
首页开源项目实践文章视频课程常见问答开发者工具STAROps 专题
导航菜单
首页开源项目实践文章视频课程常见问答开发者工具STAROps 专题

CnOps 智能运维与可观测社区

愿景

CnOps 智能运维与可观测社区是一个以"智能运维与可观测"为核心的开放、包容、分享的技术社区,旨在聚集运维专家、开发者和爱好者,共同探讨、学习和分享可观测最佳实践与最新技术,与众多技术社区合作互动,共同探讨交叉领域的技术挑战,推动可观测领域的创新与进步。

内容社区

  • 实践文章
  • 视频课程
  • 开源项目
  • 常见问答
  • 开发者工具

友情链接

  • Prometheus
  • Grafana Lab
  • OpenTelemetry
  • LoongCollector

关注我们

阿里云云原生公众号阿里云云原生
阿里云可观测公众号阿里云可观测

Copyright © 2026 CnOps 社区. All rights reserved.

首页问答什么是 IngestProcessor(写入处理器)?它解决了什么问题?

什么是 IngestProcessor(写入处理器)?它解决了什么问题?

#IngestProcessor#SLS#SPL#资源优化#日志处理

agenticOps | 2026-05-23

尽管优化后能在 8 线程下实现 iLogtail 对多行日志的采集和正则提取,但这种方法仍面临挑战:高资源需求(需占用 8 个 CPU 核心,对机器资源造成显著压力)、客户端限制(并非所有客户都有能力或意愿增加机器资源)、可扩展性问题(随业务压力增加客户端资源可能成为瓶颈)。

为应对这些挑战,阿里云日志服务推出了创新解决方案:写入处理器(IngestProcessor)。其工作原理是:通过 iLogtail 采集的日志数据首先经过 IngestProcessor,数据处理过程在日志服务(云端)中完成,而非客户端,从而显著减少客户端资源占用、释放计算能力。

IngestProcessor 不仅解决资源限制问题,还提供丰富的数据处理能力,包括字段提取(通过正则、Key-Value、JSON 等方式从原始字段提取新字段)、扩展字段、丢弃字段、数据脱敏、数据过滤等。由于它使用的 SPL 语法和 iLogtail 一致,可以直接把 iLogtail 的 SPL 语句复制过来,实现快速迁移。

效果上,在 10 个 shard 环境下测试,IngestProcessor 方案将客户端 CPU 占用从 16 核心降至 1 核心,减少 93.75%,同时保持 320MB/s 的高采集速率,与不解析正则时的多行采集极限速率接近。

注意事项:IngestProcessor 不支持日志聚合(将多个日志合并为一个),且该功能需要额外计费。

推荐文章

超过 2000+ 位开发者正在阅读

给 OpenClaw 加上企业级 Memory

给 OpenClaw 加上企业级 Memory

4646 阅读

阿里云 STAROps 全域智能运维平台发布!

阿里云 STAROps 全域智能运维平台发布!

3453 阅读

阿里云正式发布 RCA Benchmark

阿里云正式发布 RCA Benchmark

2716 阅读

推荐视频

UModel 最佳实践 Vol.1 UModel 数据建模全景解读

UModel 最佳实践 Vol.1 UModel 数据建模全景解读

3854 观看50:35
云监控2.0全景:可观测范式升级与智能运维蓝图

云监控2.0全景:可观测范式升级与智能运维蓝图

2532 观看41:06

推荐工具

精选可观测领域开发者工具

云监

云监控 2.0 沙箱体验

7483 使用

免费

免费网络拨测工具

2746 使用