文档首页> 数据治理中心 DataArts Studio> 最佳实践> 数据开发进阶实践> 数据开发调用数据质量算子并且作业运行的时候需要传入质量参数
更新时间:2024-04-28 GMT+08:00
分享

数据开发调用数据质量算子并且作业运行的时候需要传入质量参数

由于数据质量作业在执行SQL语句时不支持传参,通过数据开发调用数据质量算子,运行的时候可以把数据质量作业的参数传递给数据质量算子作业,实现数据质量的参数传递。

使用场景

数据质量需要传递参数到数据质量算子作业里面并且能够正常运行。

配置方法

创建质量作业

  1. DataArts Studio控制台首页,选择实例,单击“进入控制台”,选择对应工作空间的“数据质量”模块,进入数据质量页面。
  2. (可选)选择数据质量监控 > 质量作业,新建目录。如果已存在可用的目录,可以不用新建目录。
  3. 质量作业页面单击“新建”,进入“基本配置”页面,配置质量作业的基本信息。
  4. 单击“下一步”进入“规则配置”页面,配置质量作业的相关规则。在“计算范围”的“条件扫描”里面配置数据质量作业参数,如下图所示。
    图1 设置数据质量参数

  5. 单击“下一步”,依次配置告警、订阅、调度等信息。配置质量作业的详细操作请参见新建质量作业
  6. 单击“提交”。数据质量作业配置完成。

配置数据开发作业

  1. 登录DataArts Studio控制台。选择实例,单击“进入控制台”,选择对应工作空间的“数据开发”模块,进入数据开发页面。
  2. 在数据开发主界面的左侧导航栏,选择数据开发 > 作业开发
  3. 创建一个批处理的Pipeline作业并进入作业配置页面。
  4. 选择Data_Quality_Monitor数据质量监控算子,将该节点拖入空白页面。并配置节点属性参数。
    图2 配置Data_Quality_Monitor节点属性

  5. 配置调度周期。
    图3 配置调度周期

  6. 提交版本并执行调度。
  7. 在“作业监控”查看作业运行日志。

分享:

    相关文档

    相关产品