SLS提供两种文件发现方案,分别适用于不同场景:
双模式智能遍历:
- 全量遍历:周期性对目录完整扫描,确保不遗漏任何文件,智能记录已导入文件避免重复处理
- 增量遍历:基于字典序从上次位置继续遍历,快速发现新增文件
- 两种模式组合使用:增量保实时性,全量兜底保完整性
- 新文件发现延迟:分钟级
- 配置简单,可靠性高
SQS事件驱动导入:
- 配置S3事件通知,新文件上传时自动发送事件到SQS
- 导入服务从SQS获取文件变更通知,精准导入指定文件无需遍历
- 新文件发现延迟:秒级
- 需额外配置S3事件,可靠性依赖SQS
推荐选择:文件名顺序递增的标准日志(如CloudTrail)用双模式遍历;文件生成无规则但要求高实时性的场景用SQS方案。两种方案都可实现2-3分钟的端到端延迟。