查看Flink作业信息 用户可以通过Yarn的WebUI，在图形化界面查看Flink作业的相关信息。 前提条件 集群已安装Flink服务。 访问Yarn的WebUI 进入Yarn服务页面： 登录 FusionInsight Manager，然后选择“集群 > 服务 > Yarn >

查看更多 →

作业队列 平台为脱敏作业提供作业队列的功能，用户可在此查看任务队列，同时支持对任务优先级的调整。 其他租户的队列作业不允许操作。 在左侧菜单栏中单击“数据合规”。 选择“数据脱敏 > 作业队列”页签，可查看作业。 图1 作业队列 父主题： 数据脱敏

查看更多 →

查看Flink作业信息 用户可以通过Yarn的WebUI，在图形化界面查看Flink作业的相关信息。 前提条件 集群已安装Flink服务。 访问Yarn的WebUI 进入Yarn服务页面： MRS 3.x之前版本，单击集群名称，登录集群详情页面，选择“组件管理 > Yarn > 概述”。

查看更多 →

作业队列 平台为算子作业、内部作业和脱敏作业提供作业队列的功能，用户可在此查看任务队列，同时支持对任务优先级的调整。 其他租户的队列作业不允许操作。 在左侧菜单栏中单击“数据服务 > 数据处理”。 选择“作业队列”页签，可根据作业类型（算子作业或内部作业）查看作业。 图1 作业队列

查看更多 →

作业队列 平台为回放仿真任务提供作业队列的功能，用户可在此查看任务队列，同时支持对任务优先级的调整。 其他租户的队列作业不允许操作。 在左侧菜单栏中单击“数据处理 > 回放仿真”。 选择“作业队列”页签，查看作业。 图1 作业队列 回放仿真作业队列相关操作 在“作业队列”页签，还可以进行以下操作。

查看更多 →

作业队列 表1 作业队列权限 权限 对应API接口 授权项（Action） IAM项目 (Project) 企业项目 (Enterprise Project) 查询排队作业列表 GET /v1.0/{project_id}/data/queuing-jobs octopus:dataJob:list

查看更多 →

作业队列 查询排队作业列表 操作队列 批量更新队列优先级 父主题： API

查看更多 →

查看作业历史信息 操作场景 该任务指导您在日常运维中，查看某个Loader作业的历史执行状态以及每次执行时长，同时提供该作业两种操作： 脏数据：查看作业执行过程中处理失败的数据、或者被清洗过滤掉的数据，针对该数据可以查看源数据中哪些数据不符合转换、清洗规则。 日志：查看作业在MapReduce执行的日志信息。

查看更多 →

SQL作业管理 SQL作业包括在SQL作业编辑器窗口执行SQL语句，导入数据和导出数据等操作。 SQL作业管理主要包括如下功能： 查找作业：筛选符合对应条件的作业。 查看作业详情：显示作业的详细信息。 终止作业：终止“提交中”或“运行中”的作业。 导出作业SQL作业结果：导出作业结果

查看更多 →

查看作业历史信息 操作场景 该任务指导您在日常运维中，查看某个Loader作业的历史执行状态以及每次执行时长，同时提供该作业两种操作： 脏数据：查看作业执行过程中处理失败的数据、或者被清洗过滤掉的数据，针对该数据可以查看源数据中哪些数据不符合转换、清洗规则。 日志：查看作业在MapReduce执行的日志信息。

查看更多 →

SQL作业支持Spark和Trino两种引擎。 Spark：显示执行引擎为“Spark”的作业。 Trino：显示执行引擎为“Trino”的作业。 DLI 配置SparkUI只展示最新的100条作业信息。 控制台界面查询结果最多显示1000条作业结果数据，如果需要查看更多或者全量数据，则可以通过该功能将数据导出到OBS获取。

查看更多 →

创建Spark作业 重新执行作业 查找作业 终止作业 以及查看“使用指南”和“使用视频”。 作业管理页面 在总览页面单击“Spark作业”简介，或在左侧导航栏单击“作业管理”>“Spark作业”，可进入Spark作业管理页面。Spark作业管理页面显示所有的Spark作业，作业数量较多时，系统分页显示，您可以查看任何状态下的作业。

查看更多 →

Spark作业相关 前提条件 已参考Java SDK概述配置Java SDK环境。 已参考初始化DLI客户端完成客户端DLIClient的初始化，参考队列相关完成队列创建等操作。 提交批处理作业 DLI提供执行批处理作业的接口。您可以使用该接口执行批处理作业。示例代码如下： 1

查看更多 →

第一次提交Spark作业，需要先创建队列，例如创建名为“sparktest”的队列，队列类型选择为“通用队列”。 在DLI管理控制台的左侧导航栏中，选择“队列管理”。 单击“队列管理”页面右上角“购买队列”进行创建队列。 创建名为“sparktest”的队列，队列类型选择为“通用队列”。创建队列详细介绍请参考创建队列。

查看更多 →

准备数据 通常在执行Spark SQL作业前，需要创建数据库和表；在执行Spark作业、Flink Jar作业需要上传程序包。 编辑提交作业 完成作业参数的编辑后，提交作业。 查看作业状态 在作业管理页面可以查看作业的执行状态。 在使用DLI的过程中，如果您有进一步的疑问和建议，欢迎您移

查看更多 →

Spark作业相关 完整样例代码和依赖包说明请参考：Python SDK概述。 提交批处理作业 DLI提供执行批处理作业的接口。您可以使用该接口执行批处理作业。示例代码如下： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18

查看更多 →

创建Spark作业 Spark作业编辑页面支持执行Spark作业，为用户提供全托管式的Spark计算服务。 在总览页面，单击Spark作业右上角的“创建作业”，或在Spark作业管理页面，单击右上角的“创建作业”，均可进入Spark作业编辑页面。 进入Spark作业编辑页面，页面

查看更多 →

第一次提交Spark作业，需要先创建队列，例如创建名为“sparktest”的队列，队列类型选择为“通用队列”。 在DLI管理控制台的左侧导航栏中，选择“队列管理”。 单击“队列管理”页面右上角“购买队列”进行创建队列。 创建名为“sparktest”的队列，队列类型选择为“通用队列”。创建队列详细介绍请参考创建队列。

查看更多 →

添加路由，补充关于路由IP的网段说明。 队列属性设置、弹性资源池添加队列补充关于队列的最小CUs小于16CUs时，队列属性相关约束限制说明。 2024-01-30 新增 SQL作业管理，补充说明DLI仅支持从作业桶读取查询结果。 2024-01-17 新增 内置依赖包，新增3.1.1版本依赖包信息。 2024-01-09

查看更多 →

DLI支持选在鲲鹏CPU架构 商用 创建队列 2019年8月 序号 功能名称 功能描述 阶段 相关文档 1 支持SparkUI查看作业详情 DLI支持通过SparkUI页面查看作业运行的情况。 商用 Class SparkUI 历史变更 关于 数据湖探索 DLI更多历史版本变更内容，请单击“查看PDF”详细了解。

查看更多 →

Flink作业相关API 包括OBS授权给DLI服务、新建SQL作业、更新SQL作业、新建Flink自定义作业、更新Flink自定义作业、批量运行作业、查询作业列表、查询作业详情、查询作业执行计划、查询作业监控信息、批量停止作业、删除作业、批量删除作业、导出Flink作业、导入Flink作业、生成Flink

查看更多 →