新建离线处理集成作业
操作步骤
- 参考访问DataArts Studio实例控制台，登录DataArts Studio管理控制台。
- 在DataArts Studio控制台首页，选择对应工作空间的“数据开发”模块，进入数据开发页面。
- 在数据开发主界面的左侧导航栏，选择。
- 新建集成作业的方式有如下两种：
图1 新建集成作业（方式一）
方式二：在作业目录中，右键单击目录名称，选择“新建集成作业”。
图2 新建集成作业（方式二）
- 在弹出的“新建集成作业”页面，配置如表1所示的参数。
图3 配置集成作业参数
表1 作业参数 参数
说明
作业名称
自定义作业的名称，只能包含英文字母、数字、中文、“-”、“_”、“.”，且长度为1～128个字符。
作业类型
选择作业的类型，须选择离线处理。
- 离线处理：对已收集的大量数据进行批量处理和分析，这些任务通常是在计算资源和存储资源方面经过优化，以确保高效的数据处理和分析。这些任务通常是定时（例如每天、每周）执行，主要处理大量历史数据，用于批量分析和数据仓库。
- 实时处理：对源源不断产生的新数据进行实时处理和分析，以满足业务对数据的即时性需求。这种处理方式要求数据在产生后能够立即被处理，并给出相应的结果或触发相应的操作。
选择目录
选择作业所属的目录，默认为根目录。
- 单击“确定”，创建作业。
配置作业基本信息
为作业配置责任人、优先级信息后，用户可根据责任人、优先级来检索相应的作业。操作方法如下：
单击画布右侧“作业基本信息”页签，展开配置页面，配置如表2所示的参数。
|
参数 |
说明 |
|---|---|
|
作业责任人 |
自动匹配创建作业时配置的作业责任人，此处支持修改。 |
|
执行用户 |
当“作业调度身份是否可配置”设置为“是”，该参数可见。 执行作业的用户。如果输入了执行用户，则作业以执行用户身份执行；如果没有输入执行用户，则以提交作业启动的用户身份执行。 |
|
作业委托 |
当“作业调度身份是否可配置”设置为“是”，该参数可见。 配置委托后，作业执行过程中，以委托的身份与其他服务交互。 |
|
作业优先级 |
自动匹配创建作业时配置的作业优先级，此处支持修改。 |
|
实例超时时间 |
配置作业实例的超时时间，设置为0或不配置时，该配置项不生效。如果您为作业设置了异常通知，当作业实例执行时间超过超时时间，将触发异常通知，发送消息给用户。 |
|
实例超时是否忽略等待时间 |
配置实例超时是否忽略等待时间。 如果勾选上，表示实例运行时等待时间不会被计入超时时间，可前往默认项设置修改此策略。 如果未选上，表示实例运行时等待时间会被计入超时时间。 |
|
自定义字段 |
配置自定义字段的参数名称和参数值。 |
|
作业标签 |
配置作业的标签，用以分类管理作业。 单击“新增”，可给作业重新添加一个标签。也可选择管理作业标签中已配置的标签。 |
|
节点状态轮询时间（秒） |
设置轮询时间（1~60秒），每隔x秒查询一次节点是否执行完成。 |
|
节点执行的最长时间 |
设置节点执行的超时时间，如果节点配置了重试，在超时时间内未执行完成，该节点将会再次重试。 |
|
失败重试 |
如果作业执行失败，可选择自动重试三次或者不重试。推荐值：不重试。 建议仅对文件类作业或启用了导入阶段表的数据库作业配置自动重试，避免自动重试重复写入数据导致数据不一致。
说明：
如果通过DataArts Studio数据开发使用参数传递并调度CDM迁移作业时，不能在CDM迁移作业中配置“作业失败重试”参数，如有需要请在数据开发中的CDM节点配置“失败重试”参数。 |
|
当前节点失败后，后续节点处理策略 |
当前节点执行失败后，后续节点的处理策略：
|
配置作业参数
作业参数为全局参数，可用于作业中的任意节点。操作方法如下：
单击编辑器右侧的“参数”，展开配置页面，配置如表3所示的参数。
|
功能 |
说明 |
|---|---|
|
变量 |
|
|
新增 |
单击“新增”，在文本框中填写作业参数的名称和参数值。 参数配置完成后，在作业中的引用格式为：${参数名称} |
|
编辑参数表达式 |
在参数值文本框后方，单击 |
|
修改 |
在参数名和参数值的文本框中直接修改。 |
|
掩码显示 |
在参数值为密钥等情况下，从安全角度，请单击 |
|
删除 |
在参数值文本框后方，单击 |
|
常量 |
|
|
新增 |
单击“新增”，在文本框中填写作业常量的名称和参数值。 参数配置完成后，在作业中的引用格式为：${参数名称} |
|
编辑参数表达式 |
在参数值文本框后方，单击 |
|
修改 |
在参数名和参数值的文本框中直接修改，修改完成后，请保存。 |
|
删除 |
在参数值文本框后方，单击 |
