更新时间：2024-11-01 GMT+08:00
DSL加工概述
DSL（Domain Specific Language）加工是LTS为您提供的一站式日志加工平台，基于领域自定义的脚本语言和200多个内置函数，您可以在LTS控制台实现端到端的日志规整、富化、脱敏、过滤等加工任务。
DSL加工的功能在邀测中，仅支持华北-北京四、华东-上海一、华南-广州局点的内测用户使用，其他局点暂不支持。
背景信息
用户对采集到LTS的日志流有二次加工的诉求，目前使用函数加工有以下缺点：
- 用户有多条日志流需要转换成不同的日志流结构，一个函数只能转换一个日志流，使用不方便，有新增日志结构的时候就需要新增函数，功能繁琐，使用不够灵活。
- 函数加工需要使用函数工作流服务，且还需要独立收费，长期使用增加成本。
应用场景
- 提取结构化的数据，方便后续检索分析，生成仪表盘等。
- 日志减肥瘦身，节约后续使用成本。丢弃不需要的日志数据，节约存储成本、流量成本。
- 敏感数据脱敏，例如：将用户的身份证、手机号码脱敏。
- 日志分类投递，例如：按照日志级别：ERROR、WARNING、INFO 将日志分类，然后分发到不同的日志主题。
方案介绍
云日志服务支持通过创建DSL加工任务，将用户源日志流数据进行加工输出到目标日志流中，主要操作流程如下：
- 通过协同消费组对源日志流的数据进行读取。
- 通过加工规则对读取到的每一条数据进行加工处理。
- 将加工后的数据写入目标日志流。数据加工完成后，您可以在目标日志流中查看加工后的数据。
功能特性
云日志服务提供数据加工功能，用于数据的规整、富化、脱敏和过滤。
- 数据规整：针对混乱格式的日志进行字段提取、格式转换，获取结构化数据以支持后续的流处理、数据仓库计算。
- 数据富化：对日志（例如订单日志）和维表（例如用户信息表）进行字段连接（JOIN），为日志添加更多维度的信息，用于数据分析。
- 数据脱敏：对数据中包含的密码、手机号、地址等敏感信息进行脱敏。
- 数据过滤：过滤出关键服务的日志，用于重点分析。
父主题： DSL加工（邀测）
