旧版本SLS定时SQL存在一个关键限制:单次任务结果集不得超过100万行。这一限制带来了多方面的问题。首先是数据完整性缺失,如果使用limit all返回完整结果但超过100万行,任务会直接失败;如果改用limit 1000000强制限制输出,则可能丢失部分数据。其次是人工拆分成本高,用户需要手动按更细粒度的时间片拆分任务再合并结果,流程复杂度提升3-5倍。最后是性能瓶颈明显,百万级结果集导出耗时超过60秒,容易导致任务调度延迟和堆积。对于聚合降维场景100万行通常够用,但对于投影与过滤这类原始数据加工场景,100万行的限制往往远远不够。
加载中...