创建Flink SQL作业
本章节介绍如何新建Flink SQL作业。Flink SQL是一种由用户根据自己的逻辑需求编写作业的方式。用SQL表达业务逻辑,可以简便快捷的实现业务。目前CS服务只针对Flink SQL作业支持两种Flink SQL语句编辑方式:SQL编辑器和可视化编辑器。本章节主要介绍使用SQL编辑器编写Flink SQL作业的方式。
关于可视化编辑器的介绍请参见可视化编辑器。
前提条件
创建Flink SQL作业时,需要事先准备数据源以及数据输出通道,具体内容请参见准备数据。
操作步骤
- 新建Flink SQL作业的入口有4个,分别是在“总览”页面、“作业管理”页面、“作业编辑”页面和“作业模板”页面。
- 在“总览”页面新建作业。
- 在CS管理控制台的左侧导航栏中,单击“总览”,进入“总览”页面。图1 在“总览”页面新建作业
- 单击“新建作业”,弹出“新建作业”页面。
- 在CS管理控制台的左侧导航栏中,单击“总览”,进入“总览”页面。
- 在“作业管理”页面新建作业。
- 在CS管理控制台的左侧导航栏中,单击“作业管理”页面。图2 在“作业管理”页面新建作业 ,进入
- 单击“新建作业”,弹出“新建作业”页面。
- 在CS管理控制台的左侧导航栏中,单击“作业管理”页面。
- 在“作业编辑”页面新建作业。
- 在CS管理控制台的左侧导航栏中,单击“作业管理”页面。 ,进入
- 选择一个已创建好的Flink SQL作业,在“编辑”,进入 页面。图3 在“作业编辑”页面新建Flink SQL作业 列中单击
- 单击“更多 > 另存为”,弹出 页面。
- 在“作业模板”页面新建作业。
- 在CS管理控制台的左侧导航栏中,单击“作业模板”,进入 页面。
- 在模板名称对应的“操作”列中单击“新建作业”。图4 在“作业模板”页面新建作业
- 在“总览”页面新建作业。
- 配置作业信息。图5 新建Flink SQL作业
表1 作业配置信息 参数
参数说明
类型
Flink SQL作业:用户采用编辑SQL语句来启动作业。
名称
作业名称,只能由字母、中文、数字、中划线和下划线组成,并且长度为1~57字节。
说明:作业名称必须是唯一的。
描述
作业的相关描述,且长度为0~512字节。
编辑器
支持“SQL编辑器”和“可视化编辑器”,默认选择“SQL编辑器”。
模板
当编辑器选择“SQL编辑器”时,该参数有效。
用户可以选择样例模板或自定义的作业模板。关于模板的详细信息,请参见作业模板。
- 在“企业项目”的下拉列表中,选择用户已经在企业管理中创建的企业项目。
关于如何在企业管理中创建企业项目,请参见《企业管理用户指南》中“创建企业项目”章节。
系统还内置了一个缺省的企业项目“default”,如果用户没有为作业选择企业项目,将使用缺省项目“default”。
在作业创建过程中,如果作业与企业项目绑定成功,则作业创建成功,如果绑定失败,系统会发送告警,作业就会创建失败。
当删除作业时,与企业项目的关联关系也会被自动删除。
- (可选)如果要为作业添加标签,请填写以下参数。标签不是必填参数,如果不需要,可以跳过这一步。
表2 标签配置参数 参数
参数说明
标签键
您可以选择:
- 在输入框的下拉列表中选择预定义标签键。说明:
如果添加预定义标签,用户需要预先在标签管理服务中创建好预定义标签,然后在“标签键”的下拉框中进行选择。用户可以通过单击“查看预定义标签”进入标签管理服务的“预定义标签”页面,然后单击“创建标签”来创建新的预定义标签,具体请参见《标签管理服务用户指南》中的“创建预定义标签”章节。
- 在输入框中输入标签键名称。说明:
标签键的最大长度为36个字符 ,不能包含“=”,“*”,“,”,“<”,“>”,“\”,“|”,“/”,且首尾字符不能为空格。
标签值
您可以选择:
- 在输入框的下拉列表中选择预定义标签值。
- 在输入框中输入标签值。说明:
标签值的最大长度为43个字符,不能包含“=”,“*”,“,”,“<”,“>”,“\”,“|”,“/”,且首尾字符不能为空格。
- 最多支持10个标签。
- 一个“键”只能添加一个“值”。
- 每个资源中的键名不能重复。
- 在输入框的下拉列表中选择预定义标签键。
- 单击“确认”,进入 页面。
- 编辑作业。图6 作业编辑
在SQL语句编辑区域,输入详细的SQL语句,实现业务逻辑功能。SQL语句的编写请参考《实时流计算服务SQL语法参考》。
- 单击“语义校验”,确保语义校验成功。
- 只有语义校验成功后,才可以执行“调试”、“提交”或“启动”作业的操作。
- 如果校验成功,提示“SQL语义校验成功”。
- 如果校验失败,会在错误的SQL语句前面显示红色的“X”记号,鼠标移动到“X”号上可查看详细错误,请根据错误提示修改SQL语句。
- 设置作业运行参数。图7 设置Flink SQL作业运行参数
表3 作业运行参数说明 参数
参数说明
SPUs
SPU为CS计费单位,1核4G的资源配置。
并行数
并行数是指同时运行CS作业的任务数。
说明:并行数不能大于计算单元(SPU-1)的4倍。
开启Checkpoint
设置是否开启作业快照,开启后可基于Checkpoint(一致性检查点)恢复作业。
如下两个参数是勾选“开启Checkpoint”后有效:- Checkpoint间隔:Checkpoint的时间间隔,单位为秒,输入范围 1~999999,默认值为10s。
- Checkpoint 模式:支持如下两种模式:
- AtLeastOnce:事件至少被处理一次。
- ExactlyOnce:事件仅被处理一次。
保存作业日志
设置是否将作业运行时的日志信息保存到OBS。说明:如果同时勾选了“开启Checkpoint”和“保存作业日志”,OBS授权一次即可。
OBS桶
当勾选“开启Checkpoint”或“保存作业日志”时,该参数有效。
选择OBS桶用于保存用户Checkpoint和作业日志信息。
如果选择的OBS桶是未授权状态,需要单击“OBS授权”。
作业异常告警
设置是否将作业异常告警信息,如作业出现运行异常或者欠费情况,以SMN的方式通知用户。
异常自动重启
设置是否启动异常自动重启功能,当作业异常时将自动重启并恢复作业。
空闲状态保留时长
用于清除GroupBy或Window经过最大保留时间后仍未更新的中间状态,默认设置为1小时。
主题名称
当勾选“开启作业异常告警”时,该参数有效。
选择一个自定义的SMN主题。如何自定义SMN主题,请参见《消息通知服务用户指南》中“创建主题”章节。
脏数据策略
选择处理脏数据的策略。支持如下三种策略:忽略,抛出异常和保存脏数据到OBS。默认选择忽略。
作业所属集群
默认选择“共享集群”,用户也可以选择自定义的独享集群。如何创建自定义的独享集群,请参见按需计费方式新建集群。
说明:当子用户在创建作业时,子用户只能选择已经被分配的集群。如何给子用户分配集群,请参见修改子用户。
UDF Jar
当作业所属集群选择独享集群时,该参数有效。
用户可以在SQL中调用插入Jar包中的自定义函数。
关于自定义函数的详细内容,请参见《实时流计算服务SQL语法参考》中“自定义函数”章节。
- 单击“保存”,保存作业和相关参数。
- 单击“提交”,进入“作业配置清单”页面,单击“确认”,将作业提交并启动。
提交作业后,系统将自动跳转到
页面,新创建的作业将显示在作业列表中,在 列中可以查看作业状态。作业提交成功后,状态将由 变为 。如果作业状态为
或 ,表示作业提交或运行失败。用户可以在作业列表中的 列中,将鼠标移动到状态图标上查看错误信息,单击可以复制错误信息。根据错误信息解决故障后,重新提交。
其他功能按钮说明如下:
- 调试:对作业进行调试。具体操作请参见调试作业。
- SQL格式化:将SQL格式化,将SQL语句格式化后,需要重新编辑SQL语句。
- 更多 > 名称和描述修改:修改作业名称和描述。
- 更多 > 另存为:将新建作业另存为一个新作业。
- 更多 > 设为模板:将新创建的作业设置为作业模板。
- 更多 > 主题设置:设置页面主题,可以设置字体大小,自动换行和页面风格。
- 更多 > 帮助:帮助中心,为用户提供SQL语法参考。
