文档首页 > > 用户指南> 参考> 节点> DLI Flink Job

DLI Flink Job

分享
更新时间:2020/11/16 GMT+08:00

功能

通过DLI Flink Job节点执行一个预先定义的DLI作业,实现实时流式大数据分析。

原理

该节点方便用户启动或者查询DLI作业是否正在运行。当作业类型不是“选择已存在的Flink作业”时,系统会根据在节点中配置的作业情况,进行创建和启动作业。方便用户自定义作业以及作业参数。

参数

DLI Flink Job的参数配置,请参考以下内容:

  • 属性参数:
    • 选择已存在的Flink作业:请参见表1
    • Flink SQL作业:请参见表2
    • Flink自定义作业:请参见表3
  • 表4
表1 已存在的Flink作业-属性参数

参数

是否必选

说明

作业类型

选择“选择已存在的Flink作业”

作业名称

选择一个已存在的DLI Flink作业。

节点名称

节点名称,可以包含中文、英文字母、数字、“_”“-”“/”“<”“>”等各类特殊字符,长度为1~128个字符。

表2 Flink SQL作业-属性参数

参数

是否必选

说明

作业类型

选择“Flink SQL作业”。用户采用编写SQL语句来启动作业。

脚本路径

选择需要执行的Flink SQL脚本。如果脚本未创建,请参考新建脚本开发SQL脚本创建和开发Flink SQL脚本。

DLI队列

默认选择“共享队列”,用户也可以选择自定义的独享队列。

说明:

当子用户在创建作业时,子用户只能选择已经被分配的队列。

CUs

CUs为DLI计费单位,一个CU是1核4G的资源配置。

并发数

并发数是指同时运行Flink SQL作业的任务数。

说明:

并发数不能大于计算单元(CUs-1)的4倍。

UDF Jar

当作业所属集群选择独享集群时,该参数有效。在选择UDF Jar之前,您需要将UDF Jar包上传至OBS桶中,并在“资源管理”页面中新建资源,具体操作请参考新建资源

用户可以在SQL中调用插入Jar包中的自定义函数。

异常自动启动

设置是否启动异常自动重启功能,当作业异常时将自动重启并恢复作业。

作业名称

填写DLI Flink作业的名称,只能包含英文字母、数字、“_”,且长度为1~64个字符。默认与节点的名称一致。

作业名称添加工作空间前缀

设置是否为创建的作业名称添加工作空间前缀。

节点名称

节点名称,可以包含中文、英文字母、数字、“_”“-”“/”“<”“>”等各类特殊字符,长度为1~128个字符。

表3 Flink自定义作业-属性参数

参数

是否必选

说明

作业类型

选择“Flink自定义作业”

jar包路径

用户自定义的程序包。在选择程序包之前,您需要将对应的jar包上传至OBS桶中,并在“资源管理”页面中新建资源,具体操作请参考新建资源

入口类

指定加载的Jar包类名,如KafkaMessageStreaming。

  • 默认:根据Jar包文件的Manifest文件指定。
  • 指定:需要输入类名并确定类参数列表(参数间用空格分隔)。
    说明:

    当类属于某个包时,需携带包路径,例如:packagePath.KafkaMessageStreaming。

入口参数

指定类的参数列表,参数之间使用空格分隔。

DLI队列

默认选择“共享队列”,用户也可以选择自定义的独享队列。

说明:

当子用户在创建作业时,子用户只能选择已经被分配的队列。

CUs

CUs为DLI计费单位,一个CU是1核4G的资源配置。

管理节点CU数量

设置管理单元的CU数,支持设置1~4个CU数,默认值为1个CU。

并发数

并发数是指同时运行Flink SQL作业的任务数。

说明:

并发数不能大于计算单元(CUs-1)的4倍。

异常自动启动

设置是否启动异常自动重启功能,当作业异常时将自动重启并恢复作业。

作业名称

填写DLI Flink作业的名称,只能包含英文字母、数字、“_”,且长度为1~64个字符。默认与节点的名称一致。

作业名称添加工作空间前缀

设置是否为创建的作业添加工作空间前缀。

节点名称

节点名称,可以包含中文、英文字母、数字、“_”“-”“/”“<”“>”等各类特殊字符,长度为1~128个字符。

表4 高级参数

参数

是否必选

说明

节点执行的最长时间

设置节点执行的超时时间,如果节点配置了重试,在超时时间内未执行完成,该节点将不会再重试,直接置为失败状态。

失败重试

节点执行失败后,是否重新执行节点

  • 是:重新执行节点,请配置以下参数。
    • 最大重试次数
    • 重试间隔时间(秒)
  • 否:默认值,不重新执行节点
说明:

如果作业节点配置了重试,并且配置了超时时间,该节点执行超时后将不会再重试,直接置为失败状态。

失败策略

节点执行失败后的操作:

  • 终止当前作业执行计划
  • 继续执行下一作业
  • 挂起当前作业执行计划
分享:

    相关文档

    相关产品

文档是否有解决您的问题?

提交成功!非常感谢您的反馈,我们会继续努力做到更好!
反馈提交失败,请稍后再试!

*必选

请至少选择或填写一项反馈信息

字符长度不能超过200

提交反馈 取消

如您有其它疑问,您也可以通过华为云社区问答频道来与我们联系探讨

智能客服提问云社区提问