当前 LoongCollector 的边缘可靠采集方案需要配置两个 Pipeline:
第一个 Pipeline(采集 + 落盘):使用 input_host_monitor 或 input_prometheus 采集数据,通过 flusher_file 写入本地文件。这一步将指标数据持久化到磁盘,即使断网断电也不会丢失。
第二个 Pipeline(文件读取 + 上传):使用 input_file 读取本地落盘的指标文件,经 processor_parse_json_native 解析后通过 flusher_sls 发送到服务端。这一步利用 LoongCollector 强大的文件采集能力(Checkpoint、顺序保证、反压机制)实现可靠上传。
这种设计把采集、持久化、上传三个职责清晰分离,让每个环节都可以独立运行、独立容错。日志数据天然存储在文件中只需第二个 Pipeline;指标数据需要两个 Pipeline 的完整链路。
未来 LoongCollector 正在进行流水线优化,将支持单流水线内部持久化能力,简化用户配置。




