DSL加工概述

背景信息

用户对采集到LTS的日志流有二次加工的诉求，目前使用函数加工有以下缺点：

1. 用户有多条日志流需要转换成不同的日志流结构，一个函数只能转换一个日志流，使用不方便，有新增日志结构的时候就需要新增函数，功能繁琐，使用不够灵活。
2. 函数加工需要使用函数工作流服务，且还需要独立收费，长期使用增加成本。

应用场景

• 提取结构化的数据，方便后续检索分析，生成仪表盘等。
• 日志减肥瘦身，节约后续使用成本。丢弃不需要的日志数据，节约存储成本、流量成本。
• 敏感数据脱敏，例如：将用户的身份证、手机号码脱敏。
• 日志分类投递，例如：按照日志级别：ERROR、WARNING、INFO 将日志分类，然后分发到不同的日志主题。

方案介绍

云日志服务支持通过创建DSL加工任务，将用户源日志流数据进行加工输出到目标日志流中，主要操作流程如下：

1. 通过协同消费组对源日志流的数据进行读取。
2. 通过加工规则对读取到的每一条数据进行加工处理。
3. 将加工后的数据写入目标日志流。数据加工完成后，您可以在目标日志流中查看加工后的数据。

功能特性

云日志服务提供数据加工功能，用于数据的规整、富化、脱敏和过滤。

• 数据规整：针对混乱格式的日志进行字段提取、格式转换，获取结构化数据以支持后续的流处理、数据仓库计算。
• 数据富化：对日志（例如订单日志）和维表（例如用户信息表）进行字段连接（JOIN），为日志添加更多维度的信息，用于数据分析。
• 数据脱敏：对数据中包含的密码、手机号、地址等敏感信息进行脱敏。
• 数据过滤：过滤出关键服务的日志，用于重点分析。