# 使用DataArts Studio连接AuraJob端点并提交作业 通过DataArts Studio可视化编排ETL数据流，连接AuraJob端点执行数据处理任务，适用于需要定时调度、依赖管理和多源数据集成的数据开发场景。 ![](https://support.huaweicloud.com/usermanual-aidatalake/public_sys-resources/note_3.0-zh-cn.png) DataArts Studio中新建AI DataLake类型的数据开发作业功能当前处于受限使用阶段，如需使用请提交工单申请开通。 #### 前提条件 - 已创建AuraJob端点且端点状态为"运行中"。具体操作，请参见[创建Aura引擎端点](https://support.huaweicloud.com/usermanual-aidatalake/aidatalake_01_0049.html)。 - 已购买DataArts Studio实例并创建工作空间。具体操作，请参见[购买并配置DataArts Studio](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_1028.html)。 #### 操作步骤 1. 登录[AI DataLake管理控制台](https://console.huaweicloud.com/fabric/)。 2. 单击导航栏下方"DataArts Studio"，进入DataArts Studio作业开发界面。 3. 选择左侧导航栏的"配置管理 \> 配置"，单击"敏感参数"，在"敏感参数配置"页面单击"新增敏感参数"，配置以下参数并单击"确定"。 表1参数说明 | 参数 | 说明 | |:---|:---| | 参数名 | 输入自定义的参数名称，例如"SK"。 | | 参数值 | 输入已获取的用户SK信息。 | | 配置类型 | 选择"加密"。 | 4. 在左侧导航栏选择"数据开发 \> 作业开发"，在作业目录中，右键单击目录名称，选择"新建作业"。 5. 在弹出的"新建作业"对话框中，配置如[表2]所示的参数。 表2作业参数 | 参数 | 说明 | |:---|:---| | 作业名称 | 自定义作业的名称，只能包含英文字母、数字、中文、中划线、下划线及小数点，且长度为1\~128个字符。 | | 作业类型 | 选择作业的类型，选择"批处理"。 批处理作业：按调度计划定期处理批量数据，主要用于实时性要求低的场景。批作业是由一个或多个节点组成的流水线，以流水线作为一个整体被调度。被调度触发后，任务执行一段时间必须结束，即任务不能无限时间持续运行。 批处理作业可以配置作业级别的调度任务，即以作业为一整体进行调度，具体请参见[配置作业调度任务（批处理作业）](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0470.html#section2)。 | | 模式 | 选择作业模式。 - Pipeline：即传统的流水线式作业，作业通过画布编辑，可以拖入一个或多个节点组成作业，各节点依次被流水线式地执行。 说明： 在企业模式下，实时处理作业类型不支持Pipeline模式，仅支持单任务模式。 - 单任务：单任务作业可以认为是有且只有一个节点的批处理作业，整个作业即为一个脚本节点。单任务作业相比于先新建脚本再在作业中以节点引用脚本的开发方式，单任务作业可以直接在SQL编辑器中调测脚本并进行调度配置。 **如果模式选择"单任务"，则仅支持选择"SHELL"。** | | 选择目录 | 选择作业所属的目录，默认为根目录。 | | 责任人 | 填写该作业的责任人。 | | 作业优先级 | 选择作业的优先级，提供高、中、低三个等级。 说明： 作业优先级是作业的一个标签属性，不影响作业的实际调度执行的先后顺序。 | | 委托配置 | 配置委托后，作业执行过程中，以委托的身份与其他服务交互。 如果该工作空间已配置过委托，参见[配置公共委托](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0555.html#section3)，则新建的作业默认使用该工作空间级委托。您也可参见[配置作业委托](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0555.html#section4)，修改为作业级委托。 说明： 作业级委托优先于工作空间级委托。 | | 日志路径 | 选择作业日志的OBS存储路径。 说明： - 若您想自定义存储路径，请参见[（可选）修改作业日志存储路径](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0530.html)选择您已在OBS服务侧创建的桶。 - 请确保您已具备该参数所指定的OBS路径的读、写权限，否则系统将无法正常写日志或显示日志。 | | 企业项目 | 单击右侧下拉框，选择当前用户已创建的企业项目。 | | 作业描述 | 作业的描述信息。 | 6. 单击"确定"，创建作业。 7. 进入作业开发页面。 - 单任务SHELL作业：在作业目录中，双击新创建的作业名称，进入作业开发页面。 - Pipeline作业：拖拽"计算\&分析"区域中的"Shell"至右侧画布中，进入作业开发页面。 8. 在作业界面右侧，可以配置作业的相关参数： - 单任务SHELL作业：单击"基本信息"，即可配置作业基本信息、属性和高级。 - Pipeline作业：单击"作业基本信息"，即可配置作业基本信息；**双击画布中的Shell图标，在节点属性中配置Shell的属性和高级。** 基本信息如[表3]所示，属性如[表4]所示，高级信息如[表5]所示。 表3作业基本信息 | 参数 | 说明 | |:---|:---| | 责任人 | 自动匹配创建作业时配置的作业责任人，此处支持修改。 | | 执行用户 | 当"作业调度身份是否可配置"设置为"是"，该参数可见。设置"作业调度身份是否可配置"请参考[配置调度身份](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0555.html)。 执行作业的用户。如果输入了执行用户，则作业以执行用户身份执行；如果没有输入执行用户，则以提交作业启动的用户身份执行。 | | 作业委托 | 当"作业调度身份是否可配置"设置为"是"，该参数可见。设置"作业调度身份是否可配置"请参考[配置调度身份](https://support.huaweicloud.com/usermanual-dataartsstudio/dataartsstudio_01_0555.html)。 配置委托后，作业执行过程中，以委托的身份与其他服务交互。 | | 作业优先级 | 自动匹配创建作业时配置的作业优先级，此处支持修改。 | | 实例超时时间 | 配置作业实例的超时时间，设置为0或不配置时，该配置项不生效。如果您为作业设置了异常通知，当作业实例执行时间超过超时时间，将触发异常通知，发送消息给用户，作业不会中断，继续运行。 | | 实例超时是否忽略等待时间 | 配置实例超时是否忽略等待时间。 - 选择"忽略"，表示实例运行时等待时间不会被计入超时时间。 - 选择"不忽略"，表示实例运行时等待时间会被计入超时时间。 | | 自定义字段 | 配置自定义字段的参数名称和参数值。 | | 作业标签 | 配置作业的标签，用以分类管理作业。 单击"新增"，可给作业重新添加一个标签。 | | 作业描述 | 作业的描述信息。 | 表4属性 | 属性 | 是否必选 | 说明 | |:---|:---|:---| | 节点名称 | 是 | **仅Pipeline作业支持配置**，表示SHELL节点名称。 节点名称只能包含英文字母、数字、中文字符、中划线、下划线、/、\<\>和点号，且长度小于等于128个字符。 默认情况下，节点名称会和作业名称保持同步。 | | Shell或脚本 | 是 | **仅Pipeline作业支持配置**，选择作业运行的方式，包括： - Shell语句：需在"Shell语句"框中输入具体的Shell命令。 - Shell脚本：需在"Shell脚本"中添加已准备好的Shell脚本，也可以单击![](https://support.huaweicloud.com/usermanual-aidatalake/zh-cn_image_0000002686449792.png)新建。 | | 运行环境 | 是 | 选择"AIDataLake (AuraJob)"。 | | 镜像 | 是 | 选择镜像名称以及版本。 | | 端点 | 是 | 运行作业的Aura端点名称，单击![](https://support.huaweicloud.com/usermanual-aidatalake/zh-cn_image_0000002716129453.png)进入端点列表页面，选择新创建的端点名称。 | | 任务优先级 | 否 | 设置任务的优先级。 AuraJob任务的调度优先级属性。取值范围为0\~9之间的整数，数值越大优先级越高。默认值为0（最低优先级）。 | | 资源配置 | 否 | 运行资源的配置信息。包含资源类型、规格、申请值、限制值。 | | 容器环境变量 | 否 | 容器运行时的环境变量配置，容器的环境变量要支持可传入空间变量/常量。 支持单个添加和批量添加。 批量添加时，通过文本模式，可以批量添加多个环境变量，最多添加100条。 说明： 如果您要使用敏感参数，并且要在AI DataLake进行加密，则需要填写特定的参数，否则不会在AI DataLake进行加密。特定参数包含pwd、passwd、password、token、sk、truststore、secretkey、access_key、ak等，不区分大小写。 | 表5高级 | 参数 | 是否必选 | 说明 | |:---|:---|:---| | 节点状态轮询时间（秒） | 是 | 设置轮询时间（1\~60秒），每隔x秒查询一次节点是否执行完成。 节点运行过程中，根据设置的节点状态轮询时间查询节点是否执行完成。 | | 节点执行的最长时间 | 是 | 设置节点执行的超时时间，如果节点配置了重试，在超时时间内未执行完成，该节点将会再次重试。 | | 失败重试 | 是 | 节点执行失败后，是否重新执行节点。 - 是：重新执行节点，请配置以下参数。 - 超时重试 - 最大重试次数 - 重试间隔时间（秒） - 否：默认值，不重新执行节点。 说明： - 如果作业节点配置了重试，并且配置了超时时间，该节点执行超时后，系统支持再重试。 - 当节点运行超时导致的失败不会重试时，您可前往"默认项设置"修改此策略。 - 当"失败重试"配置为"是"才显示"超时重试"。 | | 当前节点失败后，后续节点处理策略 | 是 | 当前节点执行失败后，后续节点的处理策略： - 终止当前作业执行计划：终止当前作业运行，当前作业实例状态显示为"失败"。如果是周期调度作业，后续周期调度会正常运行。 - 忽略失败，作业结果设为成功：忽略当前节点失败，当前作业实例状态显示为"忽略失败"。如果是周期调度作业，后续周期调度会正常运行。 | 9. 如果是运行单任务SHELL作业，需要在作业开发界面的编辑器中输入以下命令。例如： ``` python3 data_processor.py ``` 10. 单击画布上方的"提交"提交作业，再单击运行按钮![](https://support.huaweicloud.com/usermanual-aidatalake/zh-cn_image_0000002769681217.png)，运行作业。 ![](https://support.huaweicloud.com/usermanual-aidatalake/public_sys-resources/note_3.0-zh-cn.png) 用户可以查看该作业的运行日志，单击"查看日志"可以进入查看日志界面查看日志的详细信息记录，在日志信息中搜索"jobId"即可获取该作业的ID。 11. 在右侧的版本里面，会自动生成一个保存版本，支持版本回滚。保存版本时，一分钟内多次保存只记录一次版本。当中间数据比较重要时，可以通过"新增版本"按钮手动增加保存版本。 #### 相关操作 使用DataArts Studio连接AuraJob端点并提交作业的详细操作，请参见[基于用户自定义镜像的多模数据处理](https://support.huaweicloud.com/qs-aidatalake/aidatalake_01_0030.html)。