DLI Spark

节点名称

是

节点名称，可以包含中文、英文字母、数字、“_”、“-”、“/”、“<”、“>”等各类特殊字符，长度为1～128个字符。

DLI队列

是

下拉选择需要使用的队列。

作业名称

是

填写DLI Spark作业的名称，只能包含英文字母、数字、“_”，且长度为1~64个字符。默认与节点的名称一致。

作业运行资源

否

选择作业运行的资源规格：

• 8核32G内存
• 16核64G内存
• 32核128G内存

作业主类

是

填写Spark作业的主类，即Jar包的主类。

Spark程序资源包

是

用户自定义开发的Spark应用程序的Jar包。在选择资源包之前，您需要先将Jar包及其依赖包上传至OBS桶中，并在“资源管理”页面中新建资源，具体操作请参考新建资源。

主类入口参数

否

填写程序的入口参数，参数之间使用Enter键分隔。

Spark作业运行参数

否

以“key/value”的形式设置提交Spark作业的属性，多个参数以Enter键分隔。具体参数请参见Spark Configuration。

Module名称

否

DLI系统提供的用于执行跨源作业的依赖模块，访问各个不同的服务，选择不同的模块：

• CloudTable/MRS HBase: sys.datasource.hbase
• CloudTable/MRS OpenTSDB: sys.datasource.opentsdb
• RDS MySQL: sys.datasource.rds
• RDS PostGre: sys.datasource.rds
• DWS: sys.datasource.dws
• CSS: sys.datasource.css

节点状态轮询时间（秒）

是

设置轮询时间（1~60秒），每隔x秒查询一次节点是否执行完成。

节点执行的最长时间

是

设置节点执行的超时时间，如果节点配置了重试，在超时时间内未执行完成，该节点将不会再重试，直接置为失败状态。

失败重试

是

节点执行失败后，是否重新执行节点。

• 是：重新执行节点，请配置以下参数。
  • 最大重试次数
  • 重试间隔时间（秒）
• 否：默认值，不重新执行节点。

失败策略

是

节点执行失败后的操作：

• 终止当前作业执行计划
• 继续执行下一作业
• 挂起当前作业执行计划
• 终止当前以及后续节点执行计划