本文导读

功能
参数

展开导读

文档首页/ 数据湖工厂 DLF/ 用户指南/ 参考/ 节点/ DLI Spark

DLI Spark

更新时间：2022-02-24 GMT+08:00

查看PDF

功能

通过DLI Spark节点执行一个预先定义的Spark作业。

参数

用户可参考表1和表2配置DLI Spark节点的参数。

表1 属性参数
参数	是否必选	说明
节点名称	是	节点名称，可以包含中文、英文字母、数字、“_”、“-”、“/”、“<”、“>”等各类特殊字符，长度为1～128个字符。
DLI队列	是	下拉选择需要使用的队列。
作业名称	是	填写DLI Spark作业的名称，只能包含英文字母、数字、“_”，且长度为1~64个字符。默认与节点的名称一致。
作业运行资源	否	选择作业运行的资源规格： 8核32G内存 16核64G内存 32核128G内存
作业主类	是	填写Spark作业的主类，即Jar包的主类。
Spark程序资源包	是	用户自定义开发的Spark应用程序的Jar包。在选择资源包之前，您需要先将Jar包及其依赖包上传至OBS桶中，并在“资源管理”页面中新建资源，具体操作请参考新建资源。
主类入口参数	否	填写程序的入口参数，参数之间使用Enter键分隔。
Spark作业运行参数	否	以“key/value”的形式设置提交Spark作业的属性，多个参数以Enter键分隔。具体参数请参见Spark Configuration。
Module名称	否	DLI系统提供的用于执行跨源作业的依赖模块，访问各个不同的服务，选择不同的模块： CloudTable/MRS HBase: sys.datasource.hbase CloudTable/MRS OpenTSDB: sys.datasource.opentsdb RDS MySQL: sys.datasource.rds RDS PostGre: sys.datasource.rds DWS: sys.datasource.dws CSS: sys.datasource.css

表2 高级参数
参数	是否必选	说明
节点状态轮询时间（秒）	是	设置轮询时间（1~60秒），每隔x秒查询一次节点是否执行完成。
节点执行的最长时间	是	设置节点执行的超时时间，如果节点配置了重试，在超时时间内未执行完成，该节点将不会再重试，直接置为失败状态。
失败重试	是	节点执行失败后，是否重新执行节点。是：重新执行节点，请配置以下参数。最大重试次数重试间隔时间（秒）否：默认值，不重新执行节点。说明：如果作业节点配置了重试，并且配置了超时时间，该节点执行超时后将不会再重试，直接置为失败状态。
失败策略	是	节点执行失败后的操作：终止当前作业执行计划继续执行下一作业挂起当前作业执行计划终止当前以及后续节点执行计划

父主题： 节点

上一篇：DLI SQL

下一篇：DWS SQL

意见反馈

文档内容是否对您有帮助？

有帮助没帮助

提供反馈

提交成功！非常感谢您的反馈，我们会继续努力做到更好！

系统繁忙，请稍后重试

在使用文档中是否遇到以下问题

内容与产品页面不一致

内容不易理解

缺失示例代码

步骤不可操作

搜不到想要的内容

缺少最佳实践

意见反馈（选填）

0/500

请至少选择一项反馈信息并填写问题反馈

字符长度不能超过500

直接提交取消

文档反馈

文档反馈

意见反馈

0/500

标记内容

同时提交标记内容

直接提交取消