Spark作业相关问题 使用咨询 作业开发 作业运维报错 运维指导

查看更多 →

作业开发 Spark如何将数据写入到 DLI 表中 通用队列操作OBS表如何设置AK/SK 如何查看DLI Spark作业的实际资源使用情况 将Spark作业结果存储在MySQL数据库中，缺少pymysql模块，如何使用python脚本访问MySQL数据库？ 如何在DLI中运行复杂PySpark程序？

查看更多 →

Spark作业使用咨询 DLI Spark作业是否支持定时周期任务作业 DLI Spark不支持作业调度，用户可以通过其他服务，例如 数据湖 管理治理中心 DataArts Studio 服务进行调度，或者通过API/SDK等方式对作业进行自定义调度 。 使用DataArts Studi

查看更多 →

String 批处理作业执行成功。 recovering String 批处理作业正在恢复。 请求示例 创建Spark作业，作业的Spark主类为“org.apache.spark.examples.SparkPi”，指定程序包batchTest/spark-examples_2.11-2

查看更多 →

支持统计SQL作业的CPU消耗 支持在控制台查看“CPU累计使用量”。 支持容器集群Spark日志跳转查看 需要在容器查看日志。 支持动态加载UDF（公测） 无需重启队列UDF即可生效。 Spark UI支持火焰图 Spark UI支持绘制火焰图。 优化SQL作业NOT IN语句查询性能

查看更多 →

0支持DLI SQL作业 DLI SQL作业，即DLI Spark SQL作业，通过在SQL编辑器使用SQL语句执行数据查询等操作。支持SQL2003，兼容SparkSQL，详细语法描述请参见《 数据湖探索 Spark SQL语法参考》。 发布区域：全部 使用DLI提交SQL作业查询OBS数据

查看更多 →

池添加的队列的操作界面。 首先配置弹性资源池队列的基本信息，具体参数参考如下。 名称：添加的队列的名称。 类型：根据作业需要选择队列类型。本示例选择为：通用队列。 SQL队列类型：用于运行Spark SQL和Trino作业。 通用队列类型：用于运行Flink和Spark Jar作业。

查看更多 →

Spark作业相关API 创建批处理作业 查询批处理作业列表 查询批处理作业详情 查询批处理作业状态 取消批处理作业

查看更多 →

队列属性设置 操作场景 DLI支持在队列创建完成后设置队列的属性。 当前支持设置队列的Spark driver的相关参数：通过设置队列的Spark driver，以提升队列资源的调度效率。 本节操作介绍在管理控制台设置队列属性的操作步骤。 约束与限制 仅Spark引擎的SQL队列支持配置队列属性。

查看更多 →

在数据开发主界面的左侧导航栏，选择“数据开发 > 作业开发”。 在作业目录中，双击单任务模式作业名称，进入作业开发页面。 在SQL编辑器右侧，单击“基本信息”，可以配置作业的基本信息、属性和高级信息等。单任务SQL作业的基本信息如表1所示，属性如表2所示，高级信息如表3所示。 表1 作业基本信息 参数 说明 责任人

查看更多 →

需资源使用中的扣费异常。 SQL作业 登录DLI管理控制台。 进入“作业管理”>“SQL作业”页面。 查看需要确认的作业详情，确认在扣费时间段内是否有以下操作： 是否使用自建的队列。 是否执行SQL作业。 如果使用了按需的弹性资源池下的队列执行作业，默认的计费模式是按CU时计费。

查看更多 →

支持容器集群Spark日志跳转查看 需要在容器查看日志。 支持动态加载UDF（公测） 无需重启队列UDF即可生效。 Spark UI支持火焰图 Spark UI支持绘制火焰图。 优化SQL作业NOT IN语句查询性能 NOT IN语句查询性能提升。 优化Multi-INSERT语句查询性能 Multi-INSERT语句查询性能提升。

查看更多 →

新修改策略才能生效。 单击“作业管理”，进入“作业管理”页签。 单击“添加”，进入“添加作业”页面。 配置作业信息。选择“SparkSubmit”并参考表1配置SparkSubmit作业其他参数信息。 表1 作业配置信息 参数 参数说明 作业名称 作业名称，只能由字母、数字、中划

查看更多 →

查看DLI队列负载 场景概述 如果需要确认DLI队列的运行状态，决定是否运行更多的作业时需要查看队列负载。 操作步骤 在控制台搜索“ 云监控服务 CES”。 图1 搜索CES 进入CES后，在页面左侧“云服务监控”列表中，单击“数据湖探索”。 图2 云服务监控 选择队列进行查看。 图3

查看更多 →

使用Livy提交Spark Jar作业 DLI Livy简介 DLI Livy是基于开源的Apache Livy用于提交Spark作业到DLI的客户端工具。 准备工作 创建DLI队列。在“队列类型”中选择“通用队列”，即Spark作业的计算资源。具体请参考创建队列。 准备一个li

查看更多 →

单TM所占CUs数。 图1 查看Flink作业所需CUs数 Spark作业： 登录DLI管理管理控制台。 选择“作业管理 > Spark作业”。 选择要查看的作业，单击操作列的“编辑”进入作业配置页面。 即可查看作业配置的计算资源规格。 计算公式如下： Spark作业CUs数=Execu

查看更多 →

Browser”显示的数字表示集群中所有作业的总数。 “Job Browser”将显示作业以下信息： 表1 MRS 作业属性介绍 属性名 描述 “Logs” 表示作业的日志信息。如果作业有输出日志，则显示。 “ID” 表示作业的编号，由系统自动生成。 “Name” 表示作业的名称。 “Application

查看更多 →

String 批处理作业的名称。 job-id 否 String 根据作业ID查询批作业。 cluster_name 否 String DLI队列名称，不填写则获取当前Project下所有批处理作业(不推荐使用)。 queue_name 否 String DLI队列名称，根据队列查询批作业（推荐使用）。

查看更多 →

SDK使用说明。 Flink作业相关 介绍新建Flink作业、查询作业详情、查询作业列表等Java SDK使用说明。 Spark作业相关 介绍提交Spark作业、查询所有Spark作业、删除Spark作业等Java SDK使用说明。 Flink作业模板相关 介绍新建Flink作业模板、更新Fl

查看更多 →

队列异常时，DLI怎么保证Spark作业的可靠性？ 应用侧调用DLI提交作业，需要有重试机制来保证Spark作业的可靠性。如果队列发生异常时，在后续队列恢复后，通过应用侧重试来保证作业的正常提交。 父主题： 使用咨询

查看更多 →

配置Spark事件队列大小 配置场景 Spark中见到的UI、EventLog、动态资源调度等功能都是通过事件传递实现的。事件有SparkListenerJobStart、SparkListenerJobEnd等，记录了每个重要的过程。 每个事件在发生后都会保存到一个队列中，Dr

查看更多 →