针对高负载场景,有两种主要方案可选。第一种方案是在iLogtail端进行多行正则提取:优化多行采集算法后,使用8线程即可达到370MB/s的采集速率,相比原始方案(16线程270MB/s)性能提升37%且资源减少50%。第二种方案是结合iLogtail与IngestProcessor:iLogtail仅负责多行日志采集(不做正则提取),正则提取交由IngestProcessor在云端完成,仅需1个线程即可实现320MB/s的采集速度。第一种方案适合计算资源充足的场景,第二种方案适合资源受限环境。用户可根据硬件资源成本和IngestProcessor使用成本灵活选择,降低总体拥有成本。




