作业开发 Spark如何将数据写入到 DLI 表中 通用队列操作OBS表如何设置AK/SK 如何查看DLI Spark作业的实际资源使用情况 将Spark作业结果存储在MySQL数据库中，缺少pymysql模块，如何使用python脚本访问MySQL数据库？ 如何在DLI中运行复杂PySpark程序？

查看更多 →

job_name 是 String 作业名称 请求参数 表2 请求Header参数 参数名 是否必选 参数类型 说明 workspace 否 String 工作空间id。 如果不设置该参数，默认查询default工作空间下的数据。 如果需要查询其他工作空间的数据，需要带上该消息头。 响应参数

查看更多 →

X-Auth-Token 是 String 用户Token。Token认证就是在调用API的时候将Token加到请求消息头，从而通过身份认证，获得操作API的权限， 获取Token 接口响应消息头中X-Subject-Token的值即为Token。 响应参数 无 请求示例 无 响应示例 无 状态码 状态码

查看更多 →

将加密的二进制字节内容使用用户上传的密钥和数据的iv字节解密。 用户上传的密钥是指在上传密钥上传的AES密钥。 binary：必填。加密的数据，参数类型为字节数组byte[]类型。 binary：必填。加密时使用的iv信息，参数类型为字节数组byte[]类型。 返回解密后的字节数组。

查看更多 →

删除作业 删除多方安全计算作业 用户登录计算节点页面。 在左侧导航树上依次选择“作业管理 > 多方安全计算”，打开多方安全计算页面。 在多方安全计算页面查找待删除的作业，单击“删除”。 删除操作无法撤销，请谨慎操作。 图1 删除作业 父主题： 多方安全计算作业

查看更多 →

作业授权 前提条件 仅当实时隐匿查询作业开启“作业是否可被授权执行”开关并审批通过后，发起方可以进行作业授权，参考创建作业和审批实时隐匿查询作业。 作业授权 在实时隐匿查询作业列表页面，查找待授权的作业，单击“更多>授权”。 图1 授权作业 在弹出的窗口中，选择需要授权的执行节点

查看更多 →

新增作业 场景描述 在 MRS 集群中新增并提交一个作业。API的调用方法请参见如何调用API。 约束限制 集群已创建成功并处于“运行中”。 已获取待创建集群区域的项目ID，请参考获取项目ID获取。 已获取集群ID，即创建集群成功后返回结果中的“cluster_id” 或参考获取集群ID获取。

查看更多 →

或参考获取集群ID获取。 已获取作业ID，即作业提交成功后返回结果中的“job_id”或参考获取作业ID获取。 IAM用户已同步完成，可通过在集群详情页的“概览”页签，单击“IAM用户同步”右侧的“单击同步”进行IAM用户同步。 作业相关程序和输入文件已存放在OBS中。 该示例以新增MapReduce作业为例。

查看更多 →

定”下发克隆作业。 命令参考（由添加作业时的“运行程序参数”与“执行程序参数”组成）：在原有的命令后，按“, {新参数}”的格式继续新增参数。 增加新的运行程序参数：新的命令参考是“运行程序参数, {新的运行程序参数}, 执行程序参数”。 增加新的执行程序参数：新的命令参考是“运行程序参数

查看更多 →

选择数据：选择需要操作的数据包中的数据。 单击“创建”，即可创建一个脱敏作业。 脱敏作业更多操作 在“作业总览”页签，还可以完成以下操作。 表1 脱敏作业相关操作 任务 操作步骤 查看作业详情 单击操作栏中的“详情”，可查看作业的详情。 单击作业总览列表，操作栏中的“详情”。 在作业详情页，可在线查看或本地下载作业日志。

查看更多 →

通过增大jdbc连接超时时间的控制，重新迁移作业。 通过作业配置中的源端和目标端连接名称，进入到cdm作业管理—>连接管理，找到该连接器名称。 编辑连接器，显示高级属性—>连接属性—>添加：属性名称socketTimeout 值：36000（单位为秒），测试连接，保存。 重新启动作业，等待迁移任务执行成功。

查看更多 →

distributed.launch命令启动训练作业。 创建训练作业的关键参数如表2所示。 表2 创建训练作业（ 自定义镜像 +torch.distributed.launch命令） 参数名称 说明 创建方式 选择“自定义算法”。 启动方式 选择“自定义”。 镜像 选择用于训练的PyTorch镜像。 代码目录

查看更多 →

以上步骤已完成了一个简单脚本的编写，如果后续其他脚本、服务编排、编译打包等需要继续使用该脚本，则必须单击页面上方的，启用该脚本。如果未启用，其他组件无法查询到该脚本，查询时会报错该脚本不存在或未启用。 后续在新版本功能中如果需要更新该脚本，可单击编辑器上方的，选择“新建版本”，在新建的版本中更改脚

查看更多 →

权”。 日志信息的保存路径为：“桶名/jobs/logs/作业id开头的目录”。其中，“桶名”可以自定义。“/jobs/logs/作业id开头的目录”为固定格式。 在作业列表中，单击对应的作业名称，然后在“运行日志”页签，可以单击页面提供的OBS链接跳转至对应的路径下。 关于如何创建Flink

查看更多 →

设置建议：设置为默认值。 不建议打开的场景： 在多表和多库的场景下，wdr snapshot会在每个库串行记录快照，记录快照时间会很长，不建议打开。 在多表的场景下，由于内部的一些表的性能问题，pg_stat_all_tables在多表的场景下，查询很慢，这时做wdr snapshot就会很慢，所以不建议打开。

查看更多 →

如何查看RES正在收费的作业？ 在RES管理控制台，单击左侧菜单栏的“总览”，您可以在“总览”区域查看智能场景和自定义场景中处于“运行中”状态的作业。再根据实际情况进入对应管理页面，“终止”或“删除”对应场景停止收费。 父主题： 计费相关

查看更多 →

如何访问训练作业的后台？ ModelArts不支持访问训练作业后台。 父主题： 查看作业详情

查看更多 →

Flink作业”，在作业列表中选择待操作的Flink OpenSource SQL作业。 单击操作列的“编辑”，进入作业编辑页面。 在右侧的“运行参数”配置区域，选择新的Flink版本。 使用Flink 1.15以上版本的引擎执行作业时，需要在自定义配置中配置委托信息，其中key为"flink.dli.job.agency

查看更多 →

task_id 是 String 作业ID。 请求 请求样例 DELETE /v2/{project_id}/services/c-face-edge/tasks/8d7c029b01c64abf9630f40b7dbfb067 响应消息 删除失败时的响应示例 { "error_code":

查看更多 →

华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。

查看更多 →

task_id 是 String 作业ID。 请求 请求样例 DELETE /v2/{project_id}/services/c-flowcount-cloud/tasks/286c2b7af15346c3932b6de67b568097 响应消息 删除失败时的响应示例 {

查看更多 →