文档首页/ 数据治理中心 DataArts Studio/ 用户指南/ 数据集成（离线作业）/ 新建离线处理集成作业
更新时间：2024-12-03 GMT+08:00
查看PDF
分享

新建离线处理集成作业

约束限制

  • 离线处理集成作业不支持在企业模式下运行。

  • 离线处理集成作业功能当前需申请白名单后才能使用。如需使用该特性，请联系客服或技术支持人员。

操作步骤

  1. 参考访问DataArts Studio实例控制台，登录DataArts Studio管理控制台。
  2. 在DataArts Studio控制台首页，选择对应工作空间的“数据开发”模块，进入数据开发页面。
  3. 在数据开发主界面的左侧导航栏，选择“数据开发 > 作业开发”。
  4. 新建集成作业的方式有如下两种：

    方式一：在“作业开发”界面中，单击“新建集成作业”。

    图1 新建集成作业（方式一）

    方式二：在作业目录中，右键单击目录名称，选择“新建集成作业”。

    图2 新建集成作业（方式二）
  5. 在弹出的“新建集成作业”页面，配置如表1所示的参数。
    图3 配置集成作业参数
    表1 作业参数

    参数

    说明

    作业名称

    自定义作业的名称，只能包含英文字母、数字、中文、“-”、“_”、“.”，且长度为1～128个字符。

    作业类型

    选择作业的类型，须选择离线处理。

    • 离线处理：对已收集的大量数据进行批量处理和分析，这些任务通常是在计算资源和存储资源方面经过优化，以确保高效的数据处理和分析。这些任务通常是定时（例如每天、每周）执行，主要处理大量历史数据，用于批量分析和数据仓库。
    • 实时处理：对源源不断产生的新数据进行实时处理和分析，以满足业务对数据的即时性需求。这种处理方式要求数据在产生后能够立即被处理，并给出相应的结果或触发相应的操作。

    选择目录

    选择作业所属的目录，默认为根目录。
  6. 单击“确定”，创建作业。

配置作业基本信息

为作业配置责任人、优先级信息后，用户可根据责任人、优先级来检索相应的作业。操作方法如下：

单击画布右侧“作业基本信息”页签，展开配置页面，配置如表2所示的参数。

表2 作业基本信息

参数

说明

作业责任人

自动匹配创建作业时配置的作业责任人，此处支持修改。

执行用户

当“作业调度身份是否可配置”设置为“是”，该参数可见。

执行作业的用户。如果输入了执行用户，则作业以执行用户身份执行；如果没有输入执行用户，则以提交作业启动的用户身份执行。

说明：

配置执行用户调度功能当前需申请白名单后才能使用。如需使用该特性，请联系客服或技术支持人员。

作业委托

当“作业调度身份是否可配置”设置为“是”，该参数可见。

配置委托后，作业执行过程中，以委托的身份与其他服务交互。

作业优先级

自动匹配创建作业时配置的作业优先级，此处支持修改。

实例超时时间

配置作业实例的超时时间，设置为0或不配置时，该配置项不生效。如果您为作业设置了异常通知，当作业实例执行时间超过超时时间，将触发异常通知，发送消息给用户。

实例超时是否忽略等待时间

配置实例超时是否忽略等待时间。

如果勾选上，表示实例运行时等待时间不会被计入超时时间，可前往默认项设置修改此策略。

如果未选上，表示实例运行时等待时间会被计入超时时间。

自定义字段

配置自定义字段的参数名称和参数值。

作业标签

配置作业的标签，用以分类管理作业。

单击“新增”，可给作业重新添加一个标签。也可选择管理作业标签中已配置的标签。

节点状态轮询时间（秒）

设置轮询时间（1~60秒），每隔x秒查询一次节点是否执行完成。

节点执行的最长时间

设置节点执行的超时时间，如果节点配置了重试，在超时时间内未执行完成，该节点将会再次重试。

失败重试

如果作业执行失败，可选择自动重试三次或者不重试。推荐值：不重试。

建议仅对文件类作业或启用了导入阶段表的数据库作业配置自动重试，避免自动重试重复写入数据导致数据不一致。

说明：

如果通过DataArts Studio数据开发使用参数传递并调度CDM迁移作业时，不能在CDM迁移作业中配置“作业失败重试”参数，如有需要请在数据开发中的CDM节点配置“失败重试”参数。

当前节点失败后，后续节点处理策略

当前节点执行失败后，后续节点的处理策略：

  • 终止当前作业执行计划：终止当前作业运行，当前作业实例状态显示为“失败”。如果是周期调度作业，后续周期调度会正常运行。
  • 忽略失败，作业结果设为成功：忽略当前节点失败，当前作业实例状态显示为“运行成功”。如果是周期调度作业，后续周期调度会正常运行。

配置作业参数

作业参数为全局参数，可用于作业中的任意节点。操作方法如下：

单击编辑器右侧的“参数”，展开配置页面，配置如表3所示的参数。

表3 作业参数配置

功能

说明

变量

新增

单击“新增”，在文本框中填写作业参数的名称和参数值。

  • 参数名称

    名称只能包含字符：英文字母、数字、中划线和下划线。

  • 参数值
    • 字符串类的参数直接填写字符串，例如：str1
    • 数值类的参数直接填写数值或运算表达式。

参数配置完成后，在作业中的引用格式为：${参数名称}

编辑参数表达式

在参数值文本框后方，单击，编辑参数表达式，更多表达式请参见表达式概述。

修改

在参数名和参数值的文本框中直接修改。

掩码显示

在参数值为密钥等情况下，从安全角度，请单击将参数值掩码显示。

删除

在参数值文本框后方，单击，删除作业参数。

常量

新增

单击“新增”，在文本框中填写作业常量的名称和参数值。

  • 参数名称

    名称只能包含字符：英文字母、数字、中划线和下划线。

  • 参数值
    • 字符串类的参数直接填写字符串，例如：str1
    • 数值类的参数直接填写数值或运算表达式。

参数配置完成后，在作业中的引用格式为：${参数名称}

编辑参数表达式

在参数值文本框后方，单击，编辑参数表达式，更多表达式请参见表达式概述。

修改

在参数名和参数值的文本框中直接修改，修改完成后，请保存。

删除

在参数值文本框后方，单击，删除作业常量。

相关文档