LoongCollector采用多租户架构结合高低水位反馈队列机制来实现Pipeline隔离,防止"一个下游慢,全局都堵"的雪崩效应。核心设计包括:
- 独立有界队列:每条Pipeline维护自己的独立队列,具有可配置的容量上限
- 高低水位反馈:当队列达到高水位时停止接受非紧急数据,对上游施加背压信号;当队列降到低水位时自动恢复数据接收
- 资源隔离:每个Pipeline的内存和CPU分配独立管理,防止资源争用
- 自动恢复:下游处理恢复后,数据流自动回到正常状态
在调度层面,LoongCollector还实现了优先级感知的Round-robin调度策略:高优先级Pipeline(如安全审计)始终优先处理,同一优先级内部公平轮转,低优先级Pipeline只在高优先级无数据时才被处理。这确保了关键业务管道不会被普通管道影响。