MetricStore 2.0 在存储和计算之间的传输协议进行了四项关键优化,以应对大规模查询中上百万组 Labels 字符串和数亿数据点的传输开销。第一,IO 与计算分离:在 Worker 处对查询的计算和 IO 过程进行分解,将 IO 操作放到协程中、纯计算操作放到物理线程中分别完成。第二,流式传输:采用流式传输协议,数据分块流式传输到计算侧,计算侧的加载和计算过程也都是流式进行,避免了等待全量数据加载完成才能开始计算的问题。第三,直接传输压缩块:直接将高压缩率的原始 Block 响应给计算节点,存储层缓存效率大幅提升,同时减少了一次序列化与反序列化的开销。第四,按需返回字段:传输前基于查询分析,只生成并返回查询实际需要的 Labels 字段,避免传输冗余数据。这些优化共同减少了网络传输量、降低了序列化开销,并实现了传输与计算的并行化。
加载中...