SLS支持在S3数据写入SLS存储之前进行处理,避免"先存储再加工"产生的额外成本。写入处理器支持以下能力:
- 字段提取:从非结构化日志中提取关键字段,如使用parse-csv从制表符分隔文本中提取时间、级别、订单号等字段
- 数据过滤:丢弃无用日志减少存储量
- 字段转换:格式标准化、时间戳转换(如将时间字符串转为Unix时间戳)
- 数据脱敏:对敏感信息进行脱敏处理,如邮箱地址替换为
****@domain.com,身份证号码中间位替换为星号 - 字段裁剪:通过project-away删除不需要的原始字段
支持的数据格式包括:JSON、CSV、单行文本、跨行文本、CloudTrail、JSON数组等。支持的压缩格式包括:zip、gzip、snappy、lz4、zstd及无压缩。字符编码支持UTF-8和GBK。这种落盘前处理方式可以显著降低存储成本,同时提升后续查询分析的效率。