更新时间:2024-11-19 GMT+08:00
分享

创建DSL加工任务

DSL(Domain Specific Language)加工是LTS为您提供的一站式日志加工平台,基于领域自定义的脚本语言和200多个内置函数,您可以在LTS控制台实现端到端的日志规整、富化、流转、脱敏、过滤等加工任务。详细加工语法请参考DSL数据加工语法(邀测)

前提条件

创建DSL加工任务

  1. 登录云日志服务控制台。
  2. 在左侧导航栏中选择“日志加工>DSL加工”,单击“新建DSL加工任务” 。
  3. 在基本信息页面中,完成如下配置后,然后单击“下一步”。

    表1 基本信息参数

    参数

    说明

    任务名称

    DSL加工任务的名称。长度范围为1~128个字符,支持字符a-z、A-Z、0-9、_、-

    启用状态

    默认开启。

    说明:

    创建DSL加工任务,需要您授权LTS创建一个云服务委托。因此当前用户需要具备委托相关的权限。当前用户需要授予IAM服务的以下权限,详细请参考创建自定义策略

    "iam:agencies:updateAgency",

    "iam:roles:listRoles",

    "iam:tokens:assume",

    "iam:agencies:listAgencies",

    "iam:agencies:getAgency",

    "iam:agencies:createAgency",

    "iam:permissions:grantRoleToAgencyOnProject"

    源日志流

    • 当前账号

      选择已完成结构化配置的日志组、日志流,即表示源日志组、日志流中的日志内容通过DSL加工处理后,将存储到目标日志流中。

    • 其他账号

      填写委托名称、委托人账号名称,选择日志组和日志流。关于委托信息请参考创建委托

    目标日志流

    单击“添加目标日志流”,填写目标日志流名称(目标日志流在数据加工函数中作为入参时的代称),选择日志组和日志流。

    加工范围

    白名单功能,数据加工的时间范围。选择“某时间开始”或“特定时间范围”可以对历史日志数据进行加工。

    • 所有:从源日志流按收到第一条日志的时间开始数据加工任务,直到加工任务被手动停止。
    • 某时间开始:指定数据加工任务的开始时间,从该时间点开始加工,直到加工任务被手动停止。
    • 特定时间范围:指定数据加工任务的起止时间,加工任务执行到指定时间后自动停止。

    高级配置

    对于加工语句中需要使用的密码信息(例如数据库连接密码),日志服务支持使用键值对形式保存在密钥对中。

    单击“添加密钥”,填写key值、Value值。

  4. 在编辑加工语句页面中,参考规则语句样例填写规则语句,单击执行预览。关于加工语法请参考DSL数据加工语法(邀测)

  5. 结果预览显示正常,单击“确定”。创建成功后在DSL加工页面生成一条任务明细。

    支持将所有加工任务导出全部数据到XLSX。

相关文档