创建DSL加工任务
DSL(Domain Specific Language)加工是LTS为您提供的一站式日志加工平台,基于领域自定义的脚本语言和200多个内置函数,您可以在LTS控制台实现端到端的日志规整、富化、流转、脱敏、过滤等加工任务。详细加工语法请参考DSL数据加工语法(邀测)。
对源日志内容已完成结构化配置。若用户在日志接入LTS时没有配置ICAgent结构化解析,可以单独给目标日志流配置ICAgent结构化解析或云端结构化解析。更多内容请参考配置ICAgent结构化解析和设置云端结构化解析日志。
前提条件
已成功采集到日志。
创建DSL加工任务
- 登录云日志服务控制台,进入“日志管理”页面。
- 在左侧导航栏中选择“日志加工>DSL加工”,单击“新建DSL加工任务”。
- 在基本信息页面中,完成如下配置后,然后单击“下一步”。
表1 基本信息参数 参数
说明
任务名称
DSL加工任务的名称。只能由英文字母、数字、中划线、下划线、小数点组成,长度范围为1~64个字符。
启用状态
默认开启。
源日志流
- 当前账号
- 其他账号
填写委托名称、委托人账号名称,选择日志组和日志流。关于委托信息请参考创建委托。
目标日志流
单击“添加”,选择日志组和日志流,填写日志流别名(用于DSL加工语句编写)。最多支持添加30个目标日志流。
使用DSL加工规则将源日志流分发到多个目标日志流时,需要在加工语句中使用特定函数指定目标日志流别名,若未明确指定日志流别名,LTS系统默认只会将加工结果输出到第一个目标日志流。
加工范围
白名单功能,数据加工的时间范围。选择“某时间开始”或“特定时间范围”可以对历史日志数据进行加工。
- 所有:从源日志流按收到第一条日志的时间开始数据加工任务,直到加工任务被手动停止。
- 某时间开始:指定数据加工任务的开始时间,从该时间点开始加工,直到加工任务被手动停止。
- 特定时间范围:指定数据加工任务的起止时间,加工任务执行到指定时间后自动停止。
高级配置
对于加工语句中需要使用的密码信息(例如数据库连接密码),日志服务支持使用键值对形式保存在密钥对中。
单击“添加”,填写key值、Value值。
- 在编辑加工语句页面中,参考规则语句样例填写规则语句,查看结果预览。
图1 加工规则
- 在右侧规则语句样例下方的DSL语句,根据业务需求选择函数语法,然后在规则语句下方输入加工语法。更多加工语法信息请参考DSL数据加工语法(邀测)。
- 在“原始日志”页签,设置搜索时间框的时间范围,然后选择需要加工的日志数据,单击“加入测试数据”。
- 单击“执行预览”,按照加工语法执行后,在结果预览下方查看结果。若需要排查或修复问题,您可以使用“断点调试”,提高开发效率。
- 结果预览显示正常,单击“确定”。创建成功后在DSL加工页面生成一条任务明细。
- 单击“导出 > 导出全部数据到XLSX”,将所有加工任务导出到本地查看。
- 单击DSL加工任务名称进入详情页面,查看该任务的基本信息和执行详情。
- 单击DSL加工任务操作列的“修改”进入修改页面,按照表1修改相关参数。
- 单击DSL加工任务操作列的“暂停”即可暂停该条加工任务。
- 单击DSL加工任务操作列的“启动”即可启动该条加工任务。
- 单击DSL加工任务操作列的“删除”即可删除该条加工任务。
删除后无法恢复,请谨慎操作。