创建Flink SQL作业

前提条件

创建Flink SQL作业时，需要事先准备数据源以及数据输出通道，具体内容请参见准备数据。

操作步骤

1. 新建Flink SQL作业的入口有4个，分别是在“总览”页面、“作业管理”页面、“作业编辑”页面和“作业模板”页面。
   • 在“总览”页面新建作业。
     1. 在CS管理控制台的左侧导航栏中，单击“总览”，进入“总览”页面。
        图1 在“总览”页面新建作业
        
     2. 单击“新建作业”，弹出“新建作业”页面。
   • 在“作业管理”页面新建作业。
     1. 在CS管理控制台的左侧导航栏中，单击“作业管理”，进入“作业管理”页面。
        图2 在“作业管理”页面新建作业
        
     2. 单击“新建作业”，弹出“新建作业”页面。
   • 在“作业编辑”页面新建作业。
     1. 在CS管理控制台的左侧导航栏中，单击“作业管理”，进入“作业管理”页面。
     2. 选择一个已创建好的Flink SQL作业，在“操作”列中单击“编辑”，进入“作业编辑”页面。
        图3 在“作业编辑”页面新建Flink SQL作业
        
     3. 单击“更多 > 另存为”，弹出“作业另存为”页面。
   • 在“作业模板”页面新建作业。
     1. 在CS管理控制台的左侧导航栏中，单击“作业模板”，进入“作业模板”页面。
     2. 在模板名称对应的“操作”列中单击“新建作业”。
        图4 在“作业模板”页面新建作业
        

2. 配置作业信息。
   图5 新建Flink SQL作业
   

   表1 作业配置信息

   参数	参数说明
   类型	Flink SQL作业：用户采用编辑SQL语句来启动作业。
   名称	作业名称，只能由字母、中文、数字、中划线和下划线组成，并且长度为1～57字节。 说明： 作业名称必须是唯一的。
   描述	作业的相关描述，且长度为0～512字节。
   编辑器	支持“SQL编辑器”和“可视化编辑器”，默认选择“SQL编辑器”。
   模板	当编辑器选择“SQL编辑器”时，该参数有效。 用户可以选择样例模板或自定义的作业模板。关于模板的详细信息，请参见作业模板。

3. 在“企业项目”的下拉列表中，选择用户已经在企业管理中创建的企业项目。

   关于如何在企业管理中创建企业项目，请参见《企业管理用户指南》中“创建企业项目”章节。

   系统还内置了一个缺省的企业项目“default”，如果用户没有为作业选择企业项目，将使用缺省项目“default”。

   在作业创建过程中，如果作业与企业项目绑定成功，则作业创建成功，如果绑定失败，系统会发送告警，作业就会创建失败。

   当删除作业时，与企业项目的关联关系也会被自动删除。

4. （可选）如果要为作业添加标签，请填写以下参数。标签不是必填参数，如果不需要，可以跳过这一步。

   表2 标签配置参数

   参数	参数说明
   标签键	您可以选择： 在输入框的下拉列表中选择预定义标签键。 说明： 如果添加预定义标签，用户需要预先在标签管理服务中创建好预定义标签，然后在“标签键”的下拉框中进行选择。用户可以通过单击“查看预定义标签”进入标签管理服务的“预定义标签”页面，然后单击“创建标签”来创建新的预定义标签，具体请参见《标签管理服务用户指南》中的“创建预定义标签”章节。 在输入框中输入标签键名称。 说明： 标签键的最大长度为36个字符 ，不能包含“=”,“*”,“,”,“<”,“>”,“\”,“|”,“/”，且首尾字符不能为空格。
   标签值	您可以选择： 在输入框的下拉列表中选择预定义标签值。 在输入框中输入标签值。 说明： 标签值的最大长度为43个字符，不能包含“=”,“*”,“,”,“<”,“>”,“\”,“|”,“/”，且首尾字符不能为空格。

   

   • 最多支持10个标签。
   • 一个“键”只能添加一个“值”。
   • 每个资源中的键名不能重复。

5. 单击“确认”，进入“编辑”页面。
6. 编辑作业。
   图6 作业编辑
   

   在SQL语句编辑区域，输入详细的SQL语句，实现业务逻辑功能。SQL语句的编写请参考《实时流计算服务SQL语法参考》。

7. 单击“语义校验”，确保语义校验成功。
   • 只有语义校验成功后，才可以执行“调试”、“提交”或“启动”作业的操作。
   • 如果校验成功，提示“SQL语义校验成功”。
   • 如果校验失败，会在错误的SQL语句前面显示红色的“X”记号，鼠标移动到“X”号上可查看详细错误，请根据错误提示修改SQL语句。

8. 设置作业运行参数。
   图7 设置Flink SQL作业运行参数
   

   表3 作业运行参数说明

   参数	参数说明
   SPUs	SPU为CS计费单位，1核4G的资源配置。
   并行数	并行数是指同时运行CS作业的任务数。 说明： 并行数不能大于计算单元（SPU-1）的4倍。
   开启Checkpoint	设置是否开启作业快照，开启后可基于Checkpoint（一致性检查点）恢复作业。 如下两个参数是勾选“开启Checkpoint”后有效： Checkpoint间隔：Checkpoint的时间间隔，单位为秒，输入范围 1~999999，默认值为10s。 Checkpoint 模式：支持如下两种模式： AtLeastOnce：事件至少被处理一次。 ExactlyOnce：事件仅被处理一次。
   保存作业日志	设置是否将作业运行时的日志信息保存到OBS。 说明： 如果同时勾选了“开启Checkpoint”和“保存作业日志”，OBS授权一次即可。
   OBS桶	当勾选“开启Checkpoint”或“保存作业日志”时，该参数有效。 选择OBS桶用于保存用户Checkpoint和作业日志信息。 如果选择的OBS桶是未授权状态，需要单击“OBS授权”。
   作业异常告警	设置是否将作业异常告警信息，如作业出现运行异常或者欠费情况，以SMN的方式通知用户。
   异常自动重启	设置是否启动异常自动重启功能，当作业异常时将自动重启并恢复作业。
   空闲状态保留时长	用于清除GroupBy或Window经过最大保留时间后仍未更新的中间状态，默认设置为1小时。
   主题名称	当勾选“开启作业异常告警”时，该参数有效。 选择一个自定义的SMN主题。如何自定义SMN主题，请参见《消息通知服务用户指南》中“创建主题”章节。
   脏数据策略	选择处理脏数据的策略。支持如下三种策略：忽略，抛出异常和保存脏数据到OBS。默认选择忽略。
   作业所属集群	默认选择“共享集群”，用户也可以选择自定义的独享集群。如何创建自定义的独享集群，请参见按需计费方式新建集群。 说明： 当子用户在创建作业时，子用户只能选择已经被分配的集群。如何给子用户分配集群，请参见修改子用户。
   UDF Jar	当作业所属集群选择独享集群时，该参数有效。 用户可以在SQL中调用插入Jar包中的自定义函数。 关于自定义函数的详细内容，请参见《实时流计算服务SQL语法参考》中“自定义函数”章节。

9. 单击“保存”，保存作业和相关参数。
10. 单击“提交”，进入“作业配置清单”页面，单击“确认”，将作业提交并启动。

    提交作业后，系统将自动跳转到“作业管理”页面，新创建的作业将显示在作业列表中，在“状态”列中可以查看作业状态。作业提交成功后，状态将由“提交中”变为“运行中”。

    如果作业状态为“提交失败”或“运行异常”，表示作业提交或运行失败。用户可以在作业列表中的“状态”列中，将鼠标移动到状态图标上查看错误信息，单击可以复制错误信息。根据错误信息解决故障后，重新提交。

    

    其他功能按钮说明如下：

    • 调试：对作业进行调试。具体操作请参见调试作业。
    • SQL格式化：将SQL格式化，将SQL语句格式化后，需要重新编辑SQL语句。
    • 更多 > 名称和描述修改：修改作业名称和描述。
    • 更多 > 另存为：将新建作业另存为一个新作业。
    • 更多 > 设为模板：将新创建的作业设置为作业模板。
    • 更多 > 主题设置：设置页面主题，可以设置字体大小，自动换行和页面风格。
    • 更多 > 帮助：帮助中心，为用户提供SQL语法参考。