CS Job
功能
通过CS Job节点执行一个预先定义的CS作业，实现实时流式大数据分析。
背景信息
该节点方便用户启动或者查询CS作业是否正在运行。当选择作业类型不是‘选择已存在的实时作业’时，DLF会根据在节点中配置的作业情况，进行创建和启动作业。方便用户自定义作业以及使用DLF作业参数。
参数
|
参数 |
是否必选 |
说明 |
|---|---|---|
|
作业类型 |
是 |
选择CS的作业类型：
|
|
选择已存在的实时流作业 |
||
|
实时流作业名称 |
是 |
选择需要执行的CS作业。
如需新建CS作业，请参考以下方法：
|
|
节点名称 |
是 |
节点名称，可以包含中文、英文字母、数字、“_”、“-”、“/”、“<”、“>”等各类特殊字符，长度为1～128个字符。 |
|
Flink SQL作业 |
||
|
SQL脚本 |
是 |
|
|
脚本参数 |
是 |
关联的SQL脚本如果使用了参数，此处显示参数名称，请在参数名称后的输入框配置参数值。参数值支持使用EL表达式。 |
|
CloudStream集群 |
是 |
选择CS集群。如需创建新的CS集群，请前往CS控制台操作。 |
|
SPUs |
是 |
选择流处理单元，1SPU=1核4G的资源配置。 |
|
并行数 |
是 |
选择同时运行CS作业的任务数，建议设置为SPU的1~2倍。 |
|
UDF Jar |
否 |
SQL中可调用插入Jar包中的自定义函数。用户需先将Jar包上传至OBS桶中。 |
|
异常自动启动 |
否 |
设置是否启动异常自动重启功能，当CS作业异常时自动重启并恢复CS作业。 |
|
实时流作业名称 |
是 |
Flink SQL作业名称，只能由字母、中文、数字、中划线和下划线组成，并且长度为1～57字节。 |
|
节点名称 |
是 |
节点名称，可以包含中文、英文字母、数字、“_”、“-”、“/”、“<”、“>”等各类特殊字符，长度为1～128个字符。 |
|
Flink自定义作业 |
||
|
jar包路径 |
是 |
用户需先上传自定义的Jar包至OBS桶中，在此处才能选择对应Jar包的OBS路径。 |
|
入口类 |
否 |
指定加载的Jar包入口类名（如：KafkaMessageStreaming）。若不指定，则根据Jar包文件的Manifest文件确定。 |
|
入口参数 |
否 |
指定入口类的参数列表，参数之间使用空格分隔（如:test tmp/result.txt）。 |
|
CloudStream集群 |
是 |
选择CS集群。如需创建新的CS集群，请前往CS控制台操作。 |
|
SPUs |
是 |
选择流处理单元，1SPU=1核4G的资源配置。 |
|
管理单元 |
是 |
设置Driver节点使用的SPU数量。 |
|
并行数 |
是 |
选择同时运行CS作业的任务数，建议设置为SPU的1~2倍。 |
|
异常自动启动 |
否 |
设置是否启动异常自动重启功能，当CS作业异常时自动重启并恢复CS作业。 |
|
实时流作业名称 |
是 |
Flink自定义作业名称，只能由字母、中文、数字、中划线和下划线组成，并且长度为1～57字节。 |
|
节点名称 |
是 |
节点名称，可以包含中文、英文字母、数字、“_”、“-”、“/”、“<”、“>”等各类特殊字符，长度为1～128个字符。 |
|
Spark自定义作业 |
||
|
jar包路径 |
是 |
用户需先上传自定义的Jar包至OBS桶中，在此处才能选择对应Jar包的OBS路径。 |
|
入口类 |
否 |
指定加载的Jar包入口类名（如：KafkaMessageStreaming）。若不指定，则根据Jar包文件的Manifest文件确定。 |
|
入口参数 |
否 |
指定入口类的参数列表，参数之间使用空格分隔（如:test tmp/result.txt）。 |
|
CloudStream集群 |
是 |
选择CS集群。如需创建新的CS集群，请前往CS控制台操作。 |
|
SPUs |
是 |
选择流处理单元，1SPU=1核4G的资源配置。 |
|
管理单元 |
是 |
设置Driver节点使用的SPU数量。 |
|
Executor个数 |
是 |
设置Executor节点的数量。 |
|
Executor SPUs |
是 |
设置每个Executor节点使用的SPU数量。 |
|
异常自动启动 |
否 |
设置是否启动异常自动重启功能，当CS作业异常时自动重启并恢复CS作业。 |
|
实时流作业名称 |
是 |
Spark自定义作业名称，只能由字母、中文、数字、中划线和下划线组成，并且长度为1～57字节。 |
|
节点名称 |
是 |
节点名称，可以包含中文、英文字母、数字、“_”、“-”、“/”、“<”、“>”等各类特殊字符，长度为1～128个字符。 |
|
参数 |
是否必选 |
说明 |
|---|---|---|
|
节点状态轮询时间（秒） |
是 |
设置轮询时间（1~60秒），每隔x秒查询一次节点是否执行完成。 |
|
节点执行的最长时间 |
是 |
设置节点执行的超时时间，如果节点配置了重试，在超时时间内未执行完成，该节点将不会再重试，直接置为失败状态。 |
|
失败重试 |
是 |
节点执行失败后，是否重新执行节点。
说明：
如果作业节点配置了重试，并且配置了超时时间，该节点执行超时后将不会再重试，直接置为失败状态。 |
|
失败策略 |
是 |
节点执行失败后的操作：
|
