文章给出了两套正则匹配方案,企业可以根据自身资源状况和成本灵活选择:
- 方案一:iLogtail 本地多行采集 + 正则提取。在优化多行采集性能后,8 线程下 iLogtail 的多行日志采集性能已可到 370MB/s,足够满足客户采集速度需求。相比原始的 16 线程 270MB/s,采集速率提升 37%,线程数从 16 减少到 8(减少 50%),在减少一半 CPU 资源的同时仍实现显著性能提升。需要注意正则提取需要对日志进行全量匹配,多行采集的部分优化手段在此无法应用。
- 方案二:iLogtail 多行采集 + IngestProcessor 正则提取。针对资源受限场景,iLogtail 仅需 1 个线程就能实现 320MB/s 的采集速度,把正则提取放到云端 IngestProcessor 完成,为客户提供极致的资源效率选择。
选择时主要考量:
- 成本效益:客户可通过评估硬件资源成本和 IngestProcessor 使用成本(需额外计费),灵活选择适合自己的方案,降低总体拥有成本。
- 灵活部署:IngestProcessor 使客户能在资源受限的环境中部署高级日志处理功能。
- 快速迁移:两者使用相同的 SPL 语法,便于现有用户快速采用新方案。
总体而言,本地资源充足时可用 8 线程方案追求更高速率;本地 CPU 紧张、不愿增加机器资源时,IngestProcessor 单线程方案是更优选择。




