作业队列 平台为脱敏作业提供作业队列的功能，用户可在此查看任务队列，同时支持对任务优先级的调整。 其他租户的队列作业不允许操作。 在左侧菜单栏中单击“数据合规”。 选择“数据脱敏 > 作业队列”页签，可查看作业。 图1 作业队列 父主题： 数据脱敏

查看更多 →

作业队列 查询排队作业列表 操作队列 批量更新队列优先级 父主题： API

查看更多 →

作业队列 平台为算子作业、内部作业和脱敏作业提供作业队列的功能，用户可在此查看任务队列，同时支持对任务优先级的调整。 其他租户的队列作业不允许操作。 在左侧菜单栏中单击“数据服务 > 数据处理”。 选择“作业队列”页签，可根据作业类型（算子作业或内部作业）查看作业。 图1 作业队列

查看更多 →

作业队列 平台为回放仿真任务提供作业队列的功能，用户可在此查看任务队列，同时支持对任务优先级的调整。 其他租户的队列作业不允许操作。 在左侧菜单栏中单击“数据处理 > 回放仿真”。 选择“作业队列”页签，查看作业。 图1 作业队列 回放仿真作业队列相关操作 在“作业队列”页签，还可以进行以下操作。

查看更多 →

作业队列 表1 作业队列权限 权限 对应API接口 授权项（Action） IAM项目 (Project) 企业项目 (Enterprise Project) 查询排队作业列表 GET /v1.0/{project_id}/data/queuing-jobs octopus:dataJob:list

查看更多 →

查看作业历史信息 操作场景 该任务指导您在日常运维中，查看某个Loader作业的历史执行状态以及每次执行时长，同时提供该作业两种操作： 脏数据：查看作业执行过程中处理失败的数据、或者被清洗过滤掉的数据，针对该数据可以查看源数据中哪些数据不符合转换、清洗规则。 日志：查看作业在MapReduce执行的日志信息。

查看更多 →

SQL作业管理 SQL作业包括在SQL作业编辑器窗口执行SQL语句，导入数据和导出数据等操作。 SQL作业管理主要包括如下功能： 查找作业：筛选符合对应条件的作业。 查看作业详情：显示作业的详细信息。 终止作业：终止“提交中”或“运行中”的作业。 导出SQL作业结果：导出作业结果是

查看更多 →

创建Spark作业 重新执行作业 查找作业 终止作业 以及查看“使用指南”和“使用视频”。 作业管理页面 在总览页面单击“Spark作业”简介，或在左侧导航栏单击“作业管理”>“Spark作业”，可进入Spark作业管理页面。Spark作业管理页面显示所有的Spark作业，作业数量较多时，系统分页显示，您可以查看任何状态下的作业。

查看更多 →

SQL作业支持Spark和Trino两种引擎。 Spark：显示执行引擎为“Spark”的作业。 Trino：显示执行引擎为“Trino”的作业。 DLI 配置SparkUI只展示最新的100条作业信息。 控制台界面查询结果最多显示1000条作业结果数据，如果需要查看更多或者全量数据，则可以通过该功能将数据导出到OBS获取。

查看更多 →

第一次提交Spark作业，需要先创建队列，例如创建名为“sparktest”的队列，队列类型选择为“通用队列”。 在DLI管理控制台的左侧导航栏中，选择“队列管理”。 单击“队列管理”页面右上角“购买队列”进行创建队列。 创建名为“sparktest”的队列，队列类型选择为“通用队列”。创建队列详细介绍请参考创建队列。

查看更多 →

准备数据 通常在执行Spark SQL作业前，需要创建数据库和表；在执行Spark作业、Flink Jar作业需要上传程序包。 编辑提交作业 完成作业参数的编辑后，提交作业。 查看作业状态 在作业管理页面可以查看作业的执行状态。 在使用DLI的过程中，如果您有进一步的疑问和建议，欢迎您移

查看更多 →

Flink作业相关API 包括OBS授权给DLI服务、新建SQL作业、更新SQL作业、新建Flink自定义作业、更新Flink自定义作业、批量运行作业、查询作业列表、查询作业详情、查询作业执行计划、查询作业监控信息、批量停止作业、删除作业、批量删除作业、导出Flink作业、导入Flink作业、生成Flink

查看更多 →

DLI支持选在鲲鹏CPU架构 商用 创建队列 2019年8月 序号 功能名称 功能描述 阶段 相关文档 1 支持SparkUI查看作业详情 DLI支持通过SparkUI页面查看作业运行的情况。 商用 Class SparkUI 历史变更 关于 数据湖探索 DLI更多历史版本变更内容，请单击“查看PDF”详细了解。

查看更多 →

第一次提交Spark作业，需要先创建队列，例如创建名为“sparktest”的队列，队列类型选择为“通用队列”。 在DLI管理控制台的左侧导航栏中，选择“队列管理”。 单击“队列管理”页面右上角“购买队列”进行创建队列。 创建名为“sparktest”的队列，队列类型选择为“通用队列”。创建队列详细介绍请参考创建队列。

查看更多 →

在DLI管理控制台，单击左侧导航栏中的“作业管理”>“Spark作业”，单击“创建作业”，进入创建Spark作业页面。 在Spark作业编辑页面中，“队列”中选择步骤2：创建队列中创建的队列，“应用程序”选择步骤3：创建程序包创建的程序包。 其他参数请参考创建Spark作业中关于Spark作业编辑页面的说明。

查看更多 →

DLI Spark 功能 通过DLI Spark节点执行一个预先定义的Spark作业。 DLI Spark节点的具体使用教程，请参见开发一个DLI Spark作业。 参数 用户可参考表1，表2和表3配置DLI Spark节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称

查看更多 →

填入。 说明： 作业名称不得包含中文字符、超出长度限制等。如果作业名称不符合规则，将导致提交 MRS 作业失败。 运行模式 是 配置Spark作业的运行模式。 批处理：指Spark作业为批模式运行，节点会一直等待Spark作业执行完成才结束。 流处理：指Spark作业为流处理运行模式

查看更多 →

选择“spark”，“队列”选择“default”，“数据库”选择“default”，单击“执行”。 SQL作业编辑窗口下方“查看结果”页签查看查询结果。 本示例使用系统预置的“default”队列和数据库进行演示，也可以在自建的队列和数据库下执行。 创建队列请参考创建队列。创建数据库请参考创建数据库。

查看更多 →

MRS资源队列 否 选择已创建好的MRS资源队列。 当配置默认项“MRS资源队列是否必填”设置为“是”时，该参数为必填。 说明： 需要先在数据安全服务队列权限功能中，配置对应的队列后，才能在此处选择到已配置的队列。当有多处同时配置了资源队列时，此处配置的资源队列为最高优先级。 SQL脚本

查看更多 →

放，就不会有该问题，或者提交作业后等一段时间再查看SparkUI，确保集群已经拉好了，不要立即单击SparkUI。 目前DLI配置SparkUI只展示最新的100条作业信息。 default队列下运行的作业或者该作业为同步作业时不支持该操作。 更多：以下操作根据SQL类型和运行状

查看更多 →

本节操作介绍如何升级作业的引擎版本。 SQL作业： SQL作业不支持配置引擎版本，需要您重新新建队列执行SQL作业，新创建的队列会默认使用新版本的Spark引擎。 Flink OpenSource SQL作业： 登录DLI管理控制台。 选择“作业管理 > Flink作业”，在作业列表中选择待操作的Flink

查看更多 →