Float 参数解释： 作业执行进度。 约束限制： 不涉及 取值范围： 不涉及 默认取值： 不涉及 job_type String 参数解释： 作业类型。 约束限制： 不涉及 取值范围： MapReduce SparkSubmit：SparkPython类型的作业在查询时作业类型请选择SparkSubmit。

查看更多 →

怎样查看 DLI 队列负载？ 场景概述 如果需要确认DLI队列的运行状态，决定是否运行更多的作业时需要查看队列负载。 操作步骤 在控制台搜索“ 云监控服务 CES”。 图1 搜索CES 进入CES后，在页面左侧“云服务监控”列表中，单击“ 数据湖探索 ”。 图2 云服务监控 选择队列进行查看。

查看更多 →

可能原因2：数据倾斜 判断当前作业运行慢是否是数据倾斜导致： 登录DLI控制台，单击“作业管理 > SQL作业”。 在SQL作业页面，在对应作业所在行，单击按钮，查看作业详情信息，获取作业ID。 图9 获取作业ID 在对应作业的“操作”列，单击“Spark UI”，进入到Spark UI页面。 在“Spark

查看更多 →

查看弹性资源池扩缩容历史 操作场景 当弹性资源池添加队列、删除队列，或添加的队列扩缩容时，可能会引起弹性资源CUs扩缩容变化。控制台提供的“扩缩容历史”功能，可以查看弹性资源池的CUs变化历史。 弹性资源池缩容可能会触发Spark作业和SQL作业内部自动重试，当作业重试超过限制会导致作业执行失败，需用户重新执行作业。

查看更多 →

DLI允许用户提交编译为Jar包的Flink或Spark作业，Jar包中包含了Jar作业执行所需的代码和依赖信息，用于在数据查询、数据分析、机器学习等特定的数据处理任务中使用。通过DLI管理控制台可以管理作业所需的呈现包。 在提交Spark Jar和Flink Jar类型的作业前，需要将程序包上传至O

查看更多 →

批量查询技能队列扩展信息 场景描述 批量查询技能队列扩展信息。（该接口CTI3.6版本不支持） 接口方法 设置成“POST”。该接口仅支持POST方法，不支持PUT、GET和DELETE等方法。 内部封装接口 BMS接口：/ccbms/ws/monitor/querytotalskillstatusex3

查看更多 →

复导致创建失败。这时可以考虑使用OR REPLACE，或者替换所有作业中的函数F1为F2。 需要重启Spark SQL队列后新创建的自定义函数F2生效 需要重启Spark SQL队列，影响当前运行的作业。 重启队列后，影响F1原有功能，F1的功能变为和F2一样。 场景二 在原有程

查看更多 →

复导致创建失败。这时可以考虑使用OR REPLACE，或者替换所有作业中的函数F1为F2。 需要重启Spark SQL队列后新创建的自定义函数F2生效 需要重启Spark SQL队列，影响当前运行的作业。 重启队列后，影响F1原有功能，F1的功能变为和F2一样。 场景二 在原有程

查看更多 →

获取元数据的队列和引擎类型。 查看队列的引擎类型和版本请参考查看队列的基本信息。 表1 LakeFormation获取元数据的队列和引擎类型 队列类型 引擎类型和支持的版本 default队列 Spark 3.3.x：支持对接LakeFormation获取元数据的队列和引擎。 HetuEngine

查看更多 →

否 String 批处理作业所属用户。 proxyUser 否 String 批处理作业所属代理用户（资源租户）。 state 否 String 批处理作业的状态，请参见创建批处理作业中的表7。 kind 否 String 批处理作业类型，只支持spark类型参数。 log 否 Array

查看更多 →

权限介绍和授权操作请参考《 数据湖 探索用户指南》。 创建队列。在“资源管理 > 队列管理”下，单击右上角“购买队列”，进入购买队列页面选择“通用队列”，即Spark作业的计算资源。 如果创建队列的用户不是管理员用户，在创建队列后，需要管理员用户赋权后才可使用。关于赋权的具体操作请参考《数据湖探索用户指南》。

查看更多 →

解决DLF+Presto查询时字段中包含换行符，数据和文件显示问题 支持presto查询结果保存成一个文件 MRS 2.1.0.6 修复问题列表： MRS Manager 解决磁盘IO利用率监控数据不准确问题 解决偶现spark作业状态未刷新问题 解决作业运行失败问题 优化补丁机制

查看更多 →

数据库：步骤6中创建的数据库。 资源队列：可使用提供的默认资源队列“default”。 当前由于DLI的“default”队列默认Spark组件版本较低，可能会出现无法支持建表语句执行的报错，这种情况下建议您选择自建队列运行业务。如需“default”队列支持建表语句执行，可联系DLI服务客服或技术支持人员协助解决。

查看更多 →

资源利用率 不同队列之间资源不能共享。 例如：队列1当前还剩余10CU资源，队列2当前负载高需要扩容时，队列2不能使用队列1中的资源，只能单独对队列1进行扩容。 添加到同一个弹性资源池的多个队列，CU资源可以共享，达到资源的合理利用。 配置跨源时，必须为每个队列分配不重合的网段，占用大量VPC网段。

查看更多 →

《创建批处理作业》。 创建Spark作业完成后，在控制台单击右上角“执行”提交作业，页面显示“批处理作业提交成功”说明Spark作业提交成功，可以在Spark作业管理页面查看提交的作业的状态和日志。 创建Spark作业时选择的“所属队列”为创建跨源连接时所绑定的队列。 如果选择spark版本为2

查看更多 →

源名称为“spark-example”。 图1 创建资源 提交Spark作业 用户需要在数据开发模块中创建一个作业，通过作业的DLI Spark节点提交Spark作业。 创建一个数据开发模块空作业，作业名称为“job_DLI_Spark”。 图2 创建作业 然后进入作业开发页面，拖动DLI

查看更多 →

表页面，通过查看队列基本信息中的“默认版本”获取引擎的版本信息。 图1 查看队列引擎版本 表2 DLI支持的系统防御规则 规则ID 规则名称 说明 类别 适用引擎 支持的动作 取值说明 系统默认创建规则 SQL语句示例 dynamic_0001 Scan files number

查看更多 →

Spark作业模板相关API 创建作业模板 查询作业模板列表 修改作业模板 获取作业模板

查看更多 →

行提交作业，否则会出现提交作业失败的情况。 当前IAM用户名中存在空格时（例如admin 01），不支持添加作业。 单击“作业管理”，在作业列表界面单击“添加”。 “作业类型”选择“SparkSubmit”，并配置其他作业信息。 图1 添加Spark作业 表1 作业配置信息 参数

查看更多 →

使用DLI提交Spark作业 创建Spark作业 设置Spark作业优先级 查询Spark作业日志 管理Spark作业 管理Spark作业模板

查看更多 →

XXXX: status [403] Spark作业运行大批量数据时上报作业运行超时异常错误 使用Spark作业访问sftp中的文件，作业运行失败，日志显示访问目录异常 执行作业的用户数据库和表权限不足导致作业运行失败 为什么Spark3.x的作业日志中打印找不到global_temp数据库

查看更多 →