DLI Flink Job
功能
通过DLI Flink Job节点执行一个预先定义的DLI作业,实现实时流式大数据分析。
原理
该节点方便用户启动或者查询DLI作业是否正在运行。当作业类型不是“选择已存在的Flink作业”时,系统会根据在节点中配置的作业情况,进行创建和启动作业。方便用户自定义作业以及作业参数。
参数
DLI Flink Job的参数配置,请参考以下内容:
参数 |
是否必选 |
说明 |
---|---|---|
作业类型 |
是 |
选择“选择已存在的Flink作业”。 |
作业名称 |
是 |
选择一个已存在的DLI Flink作业。 |
节点名称 |
是 |
节点名称,可以包含中文、英文字母、数字、“_”、“-”、“/”、“<”、“>”等各类特殊字符,长度为1~128个字符。 |
参数 |
是否必选 |
说明 |
---|---|---|
作业类型 |
是 |
选择“Flink SQL作业”。用户采用编写SQL语句来启动作业。 |
脚本路径 |
是 |
|
DLI队列 |
是 |
默认选择“共享队列”,用户也可以选择自定义的独享队列。
说明:
当子用户在创建作业时,子用户只能选择已经被分配的队列。 |
CUs |
是 |
一个CU是1核4G的资源配置。 |
并发数 |
是 |
并发数是指同时运行Flink SQL作业的任务数。
说明:
并发数不能大于计算单元(CUs-1)的4倍。 |
UDF Jar |
否 |
当作业所属集群选择独享集群时,该参数有效。在选择UDF Jar之前,您需要将UDF Jar包上传至OBS桶中,并在“资源管理”页面中新建资源,具体操作请参考新建资源。 用户可以在SQL中调用插入Jar包中的自定义函数。 |
异常自动启动 |
否 |
设置是否启动异常自动重启功能,当作业异常时将自动重启并恢复作业。 |
作业名称 |
是 |
填写DLI Flink作业的名称,只能包含英文字母、数字、“_”,且长度为1~64个字符。默认与节点的名称一致。 |
作业名称添加工作空间前缀 |
否 |
设置是否为创建的作业名称添加工作空间前缀。 |
节点名称 |
是 |
节点名称,可以包含中文、英文字母、数字、“_”、“-”、“/”、“<”、“>”等各类特殊字符,长度为1~128个字符。 |
参数 |
是否必选 |
说明 |
---|---|---|
作业类型 |
是 |
选择“Flink自定义作业”。 |
jar包路径 |
是 |
用户自定义的程序包。在选择程序包之前,您需要将对应的jar包上传至OBS桶中,并在“资源管理”页面中新建资源,具体操作请参考新建资源。 |
入口类 |
是 |
指定加载的Jar包类名,如KafkaMessageStreaming。
|
入口参数 |
是 |
指定类的参数列表,参数之间使用空格分隔。 |
DLI队列 |
是 |
默认选择“共享队列”,用户也可以选择自定义的独享队列。
说明:
当子用户在创建作业时,子用户只能选择已经被分配的队列。 |
作业特性 |
否 |
选择自定义镜像和对应版本。仅当DLI队列为容器化队列类型时,出现本参数。 自定义镜像是DLI的特性。用户可以依赖DLI提供的Spark或者Flink基础镜像,使用Dockerfile将作业运行需要的依赖(文件、jar包或者软件)打包到镜像中,生成自己的自定义镜像,然后将镜像发布到SWR(容器镜像服务)中,最后在此选择自己生成的镜像,运行作业。 自定义镜像可以改变Spark作业和Flink作业的容器运行环境。用户可以将一些私有能力内置到自定义镜像中,从而增强作业的功能、性能。 |
CUs |
是 |
一个CU是1核4G的资源配置。 |
管理节点CU数量 |
是 |
设置管理单元的CU数,支持设置1~4个CU数,默认值为1个CU。 |
并发数 |
是 |
并发数是指同时运行Flink SQL作业的任务数。
说明:
并发数不能大于计算单元(CUs-1)的4倍。 |
异常自动启动 |
否 |
设置是否启动异常自动重启功能,当作业异常时将自动重启并恢复作业。 |
作业名称 |
是 |
填写DLI Flink作业的名称,只能包含英文字母、数字、“_”,且长度为1~64个字符。默认与节点的名称一致。 |
作业名称添加工作空间前缀 |
否 |
设置是否为创建的作业添加工作空间前缀。 |
节点名称 |
是 |
节点名称,可以包含中文、英文字母、数字、“_”、“-”、“/”、“<”、“>”等各类特殊字符,长度为1~128个字符。 |
参数 |
是否必选 |
说明 |
---|---|---|
节点执行的最长时间 |
是 |
设置节点执行的超时时间,如果节点配置了重试,在超时时间内未执行完成,该节点将不会再重试,直接置为失败状态。 |
失败重试 |
是 |
节点执行失败后,是否重新执行节点。
说明:
如果作业节点配置了重试,并且配置了超时时间,该节点执行超时后将不会再重试,直接置为失败状态。 |
失败策略 |
是 |
节点执行失败后的操作:
|
空跑 |
否 |
如果勾选了空跑,该节点不会实际执行,将直接返回成功。 |