更新时间:2022-08-17 GMT+08:00

开发作业

对已新建的作业进行开发和配置。

前提条件

  • 新建作业
  • 当前用户已锁定该作业,否则需要通过“抢锁”锁定作业后才能继续开发作业。新建或导入作业后默认被当前用户锁定,详情参见编辑锁定功能

编排作业节点

  1. 登录DataArts Studio控制台。选择实例,点击“进入控制台”,选择对应工作空间的“数据开发”模块,进入数据开发页面。
    图1 选择数据开发
  2. 在数据开发主界面的左侧导航栏,选择数据开发 > 作业开发
  3. 在作业目录中,双击Pipeline模式批处理作业或实时处理作业的名称,进入作业开发页面。
  4. 拖动所需的节点至画布,鼠标移动到节点图标上,选中连线图标并拖动,连接到下一个节点上。

    每个作业建议最多包含200个节点

    图2 编排作业
  5. 配置节点功能。右键单击画布中的节点图标,根据实际需要选择如表1所示的功能。
    表1 右键节点功能

    功能

    说明

    配置

    进入该节点“节点属性”页面。

    删除

    支持删除一个节点或同时删除多个节点。

    • 单节点删除:右键单击画布中的节点图标,选择删除或按快捷键Delete
    • 多节点删除:按下键盘中的Ctrl,单击画布中需要删除的节点图标,在当前作业画布空白处单击右键,选择删除或按快捷键Delete

    复制

    支持复制一个或多个节点至任意作业中:

    • 单节点复制:右键单击画布中的节点图标,选择复制或按快捷键Ctrl+C,在作业画布空白处粘贴节点或按快捷键Ctrl+V,复制后的节点携带原节点的配置信息。
    • 多节点复制:按下键盘中的Ctrl,单击画布中需要复制的节点图标,在当前作业画布空白处单击右键选择复制或按快捷键Ctrl+C,在目标作业画布空白处粘贴或按快捷键Ctrl+V。复制后的节点携带原节点的配置信息,但不包含节点间的连接关系。

    测试运行

    测试运行该节点

    从当前节点测试运行

    仅在批作业下显示该选项。选择“从当前节点测试运行”,则测试运行当前节点以及后续节点。

    添加/删除连线

    可以选择为两个不同的节点添加或删除连线,

    编辑CDM作业

    仅CDM Job节点显示该选项。选择CDM集群和作业后,可以跳转到CDM作业编辑页面,进行作业修改。

    查看CDM作业日志

    仅CDM Job节点显示该选项。当CDM作业运行后,右键选中CDM Job节点,单击“查看CDM日志”,可以跳转到作业监控页面,查看作业日志打印的详细信息,帮助开发者定界定位作业运行异常原因。

    编辑脚本

    仅关联了脚本的节点显示该选项。跳转到脚本编辑页面,对关联的脚本进行编辑。

    添加便签

    为该节点添加便签,每个节点可以有多个便签。

  6. (可选)配置连线功能。右键单击画布中的节点间连线,显示“删除”和“设置条件”功能,您可以根据实际需要进行选择。
    • 删除:可以删除节点间的连线。
    • 设置条件:在弹出的窗口中,您可以通过EL表达式语法填写三元表达式。当三元表达式结果为true的时候,才会执行连线后面的节点,否则后续节点将被跳过

      如下图所示,是一个典型的三元表达式。当“DQM”节点的运行结果为true时,才会执行连线后的节点。当运行结果为false时,如果失败策略为“跳过所有节点”,则该连线后面的节点A以及A后的所有节点均会被跳过。

      关于EL表达式的语法,您可以查看EL表达式参考

  7. 请参见节点概述配置具体节点的属性。
  8. 配置节点属性。单击画布中的节点,在右侧显示“节点属性”页签,默认展开此配置页面,请参见节点概述配置具体节点的属性。

配置作业基本信息

为作业配置责任人、优先级信息后,用户可根据责任人、优先级来检索相应的作业。操作方法如下:

单击画布右侧“作业基本信息”页签,展开配置页面,配置如表2所示的参数。

表2 作业基本信息

参数

说明

作业责任人

自动匹配创建作业时配置的作业责任人,此处支持修改。

执行用户

执行作业的用户。如果输入了执行用户,则作业以执行用户身份执行;如果没有输入执行用户,则以提交作业启动的用户身份执行。

作业委托

配置委托后,作业执行过程中,以委托的身份与其他服务交互。

作业优先级

自动匹配创建作业时配置的作业优先级,此处支持修改。

实例超时时间

配置作业实例的超时时间,设置为0或不配置时,该配置项不生效。如果您为作业设置了异常通知,当作业实例执行时间超过超时时间,将触发异常通知,发送消息给用户。

自定义字段

配置自定义字段的参数名称和参数值。

作业标签

配置作业的标签,用以分类管理作业。

单击“新增”,可给作业重新添加一个标签。也可选择管理作业标签中已配置的标签。

配置作业参数

作业参数为全局参数,可用于作业中的任意节点。操作方法如下:

单击画布的空白处,在右侧显示“作业参数配置”页签,单击此页签,展开配置页面,配置如表3所示的参数。

表3 作业参数配置

功能

说明

参数

新增

单击“新增”,在文本框中填写作业参数的名称和参数值。

  • 参数名称

    名称只能包含字符:英文字母、数字、中划线和下划线。

  • 参数值
    • 字符串类的参数直接填写字符串,例如:str1
    • 数值类的参数直接填写数值或运算表达式。

参数配置完成后,在作业中的引用格式为:${参数名称}

修改

在参数名和参数值的文本框中直接修改。

掩码显示

在参数值为密钥等情况下,从安全角度,请单击将参数值掩码显示。

删除

在参数值文本框后方,单击,删除作业参数。

常量

新增

单击“新增”,在文本框中填写作业常量的名称和参数值。

  • 参数名称

    名称只能包含字符:英文字母、数字、中划线和下划线。

  • 参数值
    • 字符串类的参数直接填写字符串,例如:str1
    • 数值类的参数直接填写数值或运算表达式。

参数配置完成后,在作业中的引用格式为:${参数名称}

修改

在参数名和参数值的文本框中直接修改,修改完成后,请保存。

删除

在参数值文本框后方,单击,删除作业常量。

调测并保存作业

作业编排和配置完成后,请执行以下操作:

批处理作业

  1. 单击画布上方的测试运行按钮,测试作业。
  2. 测试完成后,单击画布上方的保存按钮,保存作业的配置信息。如果测试未通过请按照提示修改后再次运行。

实时处理作业

  1. 单击画布上方的保存按钮,保存作业的配置信息。