Flink SLS Connector 是阿里云实时计算 Flink 内置的 SLS 连接器,由 SLS 和 Flink 双方产研团队共同打造。关键配置包括:
基础配置:
CREATE TABLE source_table (
`__time__` BIGINT,
-- 业务字段
ts AS TO_TIMESTAMP_LTZ(`__time__` * 1000, 3),
WATERMARK FOR ts AS ts - INTERVAL '5' SECOND
) WITH (
'connector' = 'sls',
'project' = 'your-project',
'logstore' = 'your-logstore',
'endpoint' = 'cn-shanghai-intranet.log.aliyuncs.com',
'processor' = 'your-processor' -- 可选:引用消费处理器实现谓词下推
);
Watermark 策略:设置 ts - INTERVAL '5' SECOND 表示允许最多 5 秒乱序。Logtail 采集端到端延迟通常 2-3 秒,5 秒可覆盖绝大多数场景。跨地域同步场景可放宽至 10-15 秒。
核心优势:支持消费组模式,天然实现 Checkpoint 对齐;支持 Source 端谓词下推通过 processor 参数配置;支持跨地域消费和写入不同 Endpoint 的 MetricStore。Connector 确保了从采集到计算的全链路可观测和端到端保障。