文档首页 > > 用户指南> 参考> 节点> CS Job

CS Job

分享
更新时间:2020/08/12 GMT+08:00

功能

通过CS Job节点执行一个预先定义的CS作业,实现实时流式大数据分析。

背景信息

该节点方便用户启动或者查询CS作业是否正在运行。当选择作业类型不是‘选择已存在的实时作业’时,DLF会根据在节点中配置的作业情况,进行创建和启动作业。方便用户自定义作业以及使用DLF作业参数。

参数

用户可参考表1表2配置CS Job节点的参数。

表1 属性参数

参数

是否必选

说明

作业类型

选择CS的作业类型:

  • 选择已存在的实时流作业
  • Flink SQL作业
  • Flink自定义作业
  • Spark自定义作业

选择已存在的实时流作业

实时流作业名称

选择需要执行的CS作业。

如需新建CS作业,请参考以下方法:
  • 单击,前往数据开发模块数据集成页面新建CS作业。
  • 前往CS管理控制台进行新建。

节点名称

节点名称,可以包含中文、英文字母、数字、“_”“-”“/”“<”“>”等各类特殊字符,长度为1~128个字符。

Flink SQL作业

SQL脚本

选择需要执行的脚本。如果脚本未创建,请参考新建脚本开发SQL脚本先创建和开发脚本。

脚本参数

关联的SQL脚本如果使用了参数,此处显示参数名称,请在参数名称后的输入框配置参数值。参数值支持使用EL表达式

CloudStream集群

选择CS集群。如需创建新的CS集群,请前往CS控制台操作。

SPUs

选择流处理单元,1SPU=1核4G的资源配置。

并行数

选择同时运行CS作业的任务数,建议设置为SPU的1~2倍。

UDF Jar

SQL中可调用插入Jar包中的自定义函数。用户需先将Jar包上传至OBS桶中。

异常自动启动

设置是否启动异常自动重启功能,当CS作业异常时自动重启并恢复CS作业。

实时流作业名称

Flink SQL作业名称,只能由字母、中文、数字、中划线和下划线组成,并且长度为1~57字节。

节点名称

节点名称,可以包含中文、英文字母、数字、“_”“-”“/”“<”“>”等各类特殊字符,长度为1~128个字符。

Flink自定义作业

jar包路径

用户需先上传自定义的Jar包至OBS桶中,在此处才能选择对应Jar包的OBS路径。

入口类

指定加载的Jar包入口类名(如:KafkaMessageStreaming)。若不指定,则根据Jar包文件的Manifest文件确定。

入口参数

指定入口类的参数列表,参数之间使用空格分隔(如:test tmp/result.txt)。

CloudStream集群

选择CS集群。如需创建新的CS集群,请前往CS控制台操作。

SPUs

选择流处理单元,1SPU=1核4G的资源配置。

管理单元

设置Driver节点使用的SPU数量。

并行数

选择同时运行CS作业的任务数,建议设置为SPU的1~2倍。

异常自动启动

设置是否启动异常自动重启功能,当CS作业异常时自动重启并恢复CS作业。

实时流作业名称

Flink自定义作业名称,只能由字母、中文、数字、中划线和下划线组成,并且长度为1~57字节。

节点名称

节点名称,可以包含中文、英文字母、数字、“_”“-”“/”“<”“>”等各类特殊字符,长度为1~128个字符。

Spark自定义作业

jar包路径

用户需先上传自定义的Jar包至OBS桶中,在此处才能选择对应Jar包的OBS路径。

入口类

指定加载的Jar包入口类名(如:KafkaMessageStreaming)。若不指定,则根据Jar包文件的Manifest文件确定。

入口参数

指定入口类的参数列表,参数之间使用空格分隔(如:test tmp/result.txt)。

CloudStream集群

选择CS集群。如需创建新的CS集群,请前往CS控制台操作。

SPUs

选择流处理单元,1SPU=1核4G的资源配置。

管理单元

设置Driver节点使用的SPU数量。

Executor个数

设置Executor节点的数量。

Executor SPUs

设置每个Executor节点使用的SPU数量。

异常自动启动

设置是否启动异常自动重启功能,当CS作业异常时自动重启并恢复CS作业。

实时流作业名称

Spark自定义作业名称,只能由字母、中文、数字、中划线和下划线组成,并且长度为1~57字节。

节点名称

节点名称,可以包含中文、英文字母、数字、“_”“-”“/”“<”“>”等各类特殊字符,长度为1~128个字符。

表2 高级参数

参数

是否必选

说明

节点状态轮询时间(秒)

设置轮询时间(1~60秒),每隔x秒查询一次节点是否执行完成。

节点执行的最长时间

设置节点执行的超时时间,如果节点配置了重试,在超时时间内未执行完成,该节点将不会再重试,直接置为失败状态。

失败重试

节点执行失败后,是否重新执行节点

  • 是:重新执行节点,请配置以下参数。
    • 最大重试次数
    • 重试间隔时间(秒)
  • 否:默认值,不重新执行节点
说明:

如果作业节点配置了重试,并且配置了超时时间,该节点执行超时后将不会再重试,直接置为失败状态。

失败策略

节点执行失败后的操作:

  • 终止当前作业执行计划
  • 继续执行下一作业
  • 挂起当前作业执行计划
  • 终止当前以及后续节点执行计划
分享:

    相关文档

    相关产品

文档是否有解决您的问题?

提交成功!非常感谢您的反馈,我们会继续努力做到更好!
反馈提交失败,请稍后再试!

*必选

请至少选择或填写一项反馈信息

字符长度不能超过200

提交反馈 取消

如您有其它疑问,您也可以通过华为云社区问答频道来与我们联系探讨

智能客服提问云社区提问