SLS 数据加工服务支持五大核心处理场景:规整(从文本日志提取关键信息转为规范化数据)、富化(通过关联数据库为原始数据添加详细信息)、脱敏(对个人信息等敏感数据进行处理)、分裂(将合并输出的多条数据拆分为独立条目)和分发(将不同类型数据写到不同目标供下游使用)。数据加工基于 Python 语法设计了 Cloud Data Processing Language(DPL),通过极少代码即可完成复杂的数据处理逻辑。在弹性机制方面,数据加工基于 LogHub 消费组和 K8s HPA 机制实现计算力的弹性伸缩,通过存储计算分离实现自由伸缩。除了原生的 CPU 和内存指标外,还引入了更全面的 HPA 指标以支持网络/IO 敏感场景,未来还将使用智能算法基于作业历史特性提前做资源分配。




