新版SLS定时SQL通过底层重构实现了突破性提升,关键优化包括以下几个方面:
- 序列化格式升级:计算结果序列化从JSON切换为更高效的LogGroup PB(Protocol Buffers)格式,大幅减少了序列化开销
- 并发写入:采用多协程并发的方式将结果写入目标Logstore,提升了写入吞吐量
- 数据传输链路缩短:旧版本数据需要经过3跳内部节点传输,每一跳都要经过JSON的序列化和反序列化;新版本将数据传输降低到一跳,且采用压缩的PB格式传输
- 取消行数硬限制:不再有100万行的硬性上限,任务结果集规模仅取决于执行时间(默认10分钟超时)
这些优化使得定时SQL的执行效率产生了质的飞跃。