Job 1 消费 SLS 原始网关日志,并做维表富化 + 多维聚合,核心步骤如下:
- Source 表通过
connector = sls消费 Logstore,定义ts事件时间列并设置WATERMARK FOR ts AS ts - INTERVAL '5' SECOND。5 秒的乱序容忍是根据 Logtail 端到端延迟(2–3 秒)综合权衡的结果,跨地域场景可放宽到 10–15 秒。 - 通过 JDBC Connector 定义两个维表:
gateway_cluster_dim(按 LocalIp 关联出 app_group、region_id)和user_level_dim(按 CallerUid 关联出 gc_level)。gateway 表使用 ALL 缓存全量加载,user 表使用 LRU 缓存(5 万条,TTL 10 分钟)平衡命中率与新鲜度。 - 通过
FOR SYSTEM_TIME AS OF l.ts做 Temporal Join 保证维表版本一致。 - 用
TUMBLE(ts, INTERVAL '10' SECOND)做窗口聚合,输出字段包括 qps(COUNT)、rt_mean(AVG)、slow1s_count、http_2xx/5xx/503 等。 - 结果写入本地域 SLS Logstore
machine_agg_log,作为跨域前的轻量中间层。
这样既完成了元数据富化,又通过 10 秒窗口 + 多维 GroupBy 大幅降低下游数据量。




