通过 file-to-kafka 场景下的实际压测对比,五款采集器的性能表现有明显差异:
- iLogtail:采集速率最快,在大部分场景下采集速度几乎与文件写入速度持平,尤其在高吞吐场景(50M/s、100M/s)优势显著。资源消耗相对偏高,但资源占用率与采集速率基本维持线性关系
- Rsyslog:采集速率仅次于 iLogtail,资源占用一直保持平稳,在资源限制为 1C 的场景中表现最优异,特别适合资源严苛的环境
- Vector:性能表现中规中矩,适用于日志流量规模不大的场景
- Fluent-bit:非常注重资源控制,CPU 不会超过 2C,但在正则多行匹配场景下采集速率较低,存在明显的反压行为
- Filebeat:资源占用一直最高,采集速率上也不占优势,当日志流量超过 20M/s 时逐渐出现瓶颈
需注意这是一般场景下的横向对比,深入调优各采集器的 pipeline 并行度后性能可进一步提升。