更新时间:2025-09-02 GMT+08:00
分享

创建DSL加工任务

DSL(Domain Specific Language)加工是LTS为您提供的一站式日志加工平台,基于领域自定义的脚本语言和200多个内置函数,您可以在LTS控制台实现端到端的日志规整、富化、流转、脱敏、过滤等加工任务。详细加工语法请参考DSL数据加工语法(邀测)

对源日志内容已完成结构化配置。若用户在日志接入LTS时没有配置ICAgent结构化解析,可以单独给目标日志流配置ICAgent结构化解析或云端结构化解析。更多内容请参考配置ICAgent结构化解析设置云端结构化解析日志

前提条件

已成功采集到日志。

创建DSL加工任务

  1. 登录云日志服务控制台,进入“日志管理”页面。
  2. 在左侧导航栏中选择“日志加工>DSL加工”,单击“新建DSL加工任务”。
  3. 在基本信息页面中,完成如下配置后,然后单击“下一步”。

    表1 基本信息参数

    参数

    说明

    任务名称

    DSL加工任务的名称。只能由英文字母、数字、中划线、下划线、小数点组成,长度范围为1~64个字符。

    启用状态

    默认开启。

    源日志流

    • 当前账号

      选择日志组、日志流,即表示源日志组、日志流中的日志内容通过DSL加工处理后,将存储到目标日志流中。

    • 其他账号

      填写委托名称、委托人账号名称,选择日志组和日志流。关于委托信息请参考创建委托

    目标日志流

    单击“添加”,选择日志组和日志流,填写日志流别名(用于DSL加工语句编写)。最多支持添加30个目标日志流。

    使用DSL加工规则将源日志流分发到多个目标日志流时,需要在加工语句中使用特定函数指定目标日志流别名,若未明确指定日志流别名,LTS系统默认只会将加工结果输出到第一个目标日志流。

    加工范围

    白名单功能,数据加工的时间范围。选择“某时间开始”或“特定时间范围”可以对历史日志数据进行加工。

    • 所有:从源日志流按收到第一条日志的时间开始数据加工任务,直到加工任务被手动停止。
    • 某时间开始:指定数据加工任务的开始时间,从该时间点开始加工,直到加工任务被手动停止。
    • 特定时间范围:指定数据加工任务的起止时间,加工任务执行到指定时间后自动停止。

    高级配置

    对于加工语句中需要使用的密码信息(例如数据库连接密码),日志服务支持使用键值对形式保存在密钥对中。

    单击“添加”,填写key值、Value值。

  4. 在编辑加工语句页面中,参考规则语句样例填写规则语句,查看结果预览。

    图1 加工规则
    1. 在右侧规则语句样例下方的DSL语句,根据业务需求选择函数语法,然后在规则语句下方输入加工语法。更多加工语法信息请参考DSL数据加工语法(邀测)
    2. 在“原始日志”页签,设置搜索时间框的时间范围,然后选择需要加工的日志数据,单击“加入测试数据”。
    3. 单击“执行预览”,按照加工语法执行后,在结果预览下方查看结果。若需要排查或修复问题,您可以使用“断点调试”,提高开发效率。

  5. 结果预览显示正常,单击“确定”。创建成功后在DSL加工页面生成一条任务明细。

    • 单击“导出 > 导出全部数据到XLSX”,将所有加工任务导出到本地查看。
    • 单击DSL加工任务名称进入详情页面,查看该任务的基本信息和执行详情。
    • 单击DSL加工任务操作列的“修改”进入修改页面,按照表1修改相关参数。
    • 单击DSL加工任务操作列的“暂停”即可暂停该条加工任务。
    • 单击DSL加工任务操作列的“启动”即可启动该条加工任务。
    • 单击DSL加工任务操作列的“删除”即可删除该条加工任务。

      删除后无法恢复,请谨慎操作。

相关文档