开发作业
对已新建的作业进行开发和配置。
编排作业节点
- 登录DataArts Studio控制台。选择实例,点击“进入控制台”,选择对应工作空间的“数据开发”模块,进入数据开发页面。
图1 选择数据开发
- 在数据开发主界面的左侧导航栏,选择 。
- 在作业目录中,双击Pipeline模式批处理作业或实时处理作业的名称,进入作业开发页面。
- 拖动所需的节点至画布,鼠标移动到节点图标上,选中连线图标并拖动,连接到下一个节点上。
每个作业建议最多包含200个节点。
图2 编排作业
- 配置节点功能。右键单击画布中的节点图标,根据实际需要选择如表1所示的功能。
表1 右键节点功能 功能
说明
配置
进入该节点的“节点属性”页面。
删除
支持删除一个节点或同时删除多个节点。
- 单节点删除:右键单击画布中的节点图标,选择删除或按快捷键Delete。
- 多节点删除:按下键盘中的Ctrl,单击画布中需要删除的节点图标,在当前作业画布空白处单击右键,选择删除或按快捷键Delete。
复制
支持复制一个或多个节点至任意作业中:
- 单节点复制:右键单击画布中的节点图标,选择复制或按快捷键Ctrl+C,在作业画布空白处粘贴节点或按快捷键Ctrl+V,复制后的节点携带原节点的配置信息。
- 多节点复制:按下键盘中的Ctrl,单击画布中需要复制的节点图标,在当前作业画布空白处单击右键选择复制或按快捷键Ctrl+C,在目标作业画布空白处粘贴或按快捷键Ctrl+V。复制后的节点携带原节点的配置信息,但不包含节点间的连接关系。
测试运行
测试运行该节点。
从当前节点测试运行
仅在批作业下显示该选项。选择“从当前节点测试运行”,则测试运行当前节点以及后续节点。
添加/删除连线
可以选择为两个不同的节点添加或删除连线,
编辑CDM作业
仅CDM Job节点显示该选项。选择CDM集群和作业后,可以跳转到CDM作业编辑页面,进行作业修改。
查看CDM作业日志
仅CDM Job节点显示该选项。当CDM作业运行后,右键选中CDM Job节点,单击“查看CDM日志”,可以跳转到作业监控页面,查看作业日志打印的详细信息,帮助开发者定界定位作业运行异常原因。
编辑脚本
仅关联了脚本的节点显示该选项。跳转到脚本编辑页面,对关联的脚本进行编辑。
添加便签
为该节点添加便签,每个节点可以有多个便签。
- (可选)配置连线功能。右键单击画布中的节点间连线,显示“删除”和“设置条件”功能,您可以根据实际需要进行选择。
- 删除:可以删除节点间的连线。
- 设置条件:在弹出的窗口中,您可以通过EL表达式语法填写三元表达式。当三元表达式结果为true的时候,才会执行连线后面的节点,否则后续节点将被跳过。
如下图所示,是一个典型的三元表达式。当“DQM”节点的运行结果为true时,才会执行连线后的节点。当运行结果为false时,如果失败策略为“跳过所有节点”,则该连线后面的节点A以及A后的所有节点均会被跳过。
关于EL表达式的语法,您可以查看EL表达式参考。
- 请参见节点概述配置具体节点的属性。
- 配置节点属性。单击画布中的节点,在右侧显示“节点属性”页签,默认展开此配置页面,请参见节点概述配置具体节点的属性。
配置作业基本信息
为作业配置责任人、优先级信息后,用户可根据责任人、优先级来检索相应的作业。操作方法如下:
单击画布右侧“作业基本信息”页签,展开配置页面,配置如表2所示的参数。
参数 |
说明 |
---|---|
作业责任人 |
自动匹配创建作业时配置的作业责任人,此处支持修改。 |
执行用户 |
执行作业的用户。如果输入了执行用户,则作业以执行用户身份执行;如果没有输入执行用户,则以提交作业启动的用户身份执行。 |
作业委托 |
配置委托后,作业执行过程中,以委托的身份与其他服务交互。 |
作业优先级 |
自动匹配创建作业时配置的作业优先级,此处支持修改。 |
实例超时时间 |
配置作业实例的超时时间,设置为0或不配置时,该配置项不生效。如果您为作业设置了异常通知,当作业实例执行时间超过超时时间,将触发异常通知,发送消息给用户。 |
自定义字段 |
配置自定义字段的参数名称和参数值。 |
作业标签 |
配置作业的标签,用以分类管理作业。 单击“新增”,可给作业重新添加一个标签。也可选择管理作业标签中已配置的标签。 |
配置作业参数
作业参数为全局参数,可用于作业中的任意节点。操作方法如下:
单击画布的空白处,在右侧显示“作业参数配置”页签,单击此页签,展开配置页面,配置如表3所示的参数。
调测并保存作业
作业编排和配置完成后,请执行以下操作:
批处理作业
- 单击画布上方的测试运行按钮,测试作业。
- 测试完成后,单击画布上方的保存按钮,保存作业的配置信息。如果测试未通过请按照提示修改后再次运行。
实时处理作业
- 单击画布上方的保存按钮,保存作业的配置信息。