更新时间：2022-02-24 GMT+08:00
DLI Spark
功能
通过DLI Spark节点执行一个预先定义的Spark作业。
参数
|
参数 |
是否必选 |
说明 |
|---|---|---|
|
节点名称 |
是 |
节点名称，可以包含中文、英文字母、数字、“_”、“-”、“/”、“<”、“>”等各类特殊字符，长度为1～128个字符。 |
|
DLI队列 |
是 |
下拉选择需要使用的队列。 |
|
作业名称 |
是 |
填写DLI Spark作业的名称，只能包含英文字母、数字、“_”，且长度为1~64个字符。默认与节点的名称一致。 |
|
作业运行资源 |
否 |
选择作业运行的资源规格：
|
|
作业主类 |
是 |
填写Spark作业的主类，即Jar包的主类。 |
|
Spark程序资源包 |
是 |
用户自定义开发的Spark应用程序的Jar包。在选择资源包之前，您需要先将Jar包及其依赖包上传至OBS桶中，并在“资源管理”页面中新建资源，具体操作请参考新建资源。 |
|
主类入口参数 |
否 |
填写程序的入口参数，参数之间使用Enter键分隔。 |
|
Spark作业运行参数 |
否 |
以“key/value”的形式设置提交Spark作业的属性，多个参数以Enter键分隔。具体参数请参见Spark Configuration。 |
|
Module名称 |
否 |
DLI系统提供的用于执行跨源作业的依赖模块，访问各个不同的服务，选择不同的模块：
|
|
参数 |
是否必选 |
说明 |
|---|---|---|
|
节点状态轮询时间（秒） |
是 |
设置轮询时间（1~60秒），每隔x秒查询一次节点是否执行完成。 |
|
节点执行的最长时间 |
是 |
设置节点执行的超时时间，如果节点配置了重试，在超时时间内未执行完成，该节点将不会再重试，直接置为失败状态。 |
|
失败重试 |
是 |
节点执行失败后，是否重新执行节点。
说明：
如果作业节点配置了重试，并且配置了超时时间，该节点执行超时后将不会再重试，直接置为失败状态。 |
|
失败策略 |
是 |
节点执行失败后的操作：
|
父主题： 节点
