# 创建Flink OpenSource SQL作业 本章节介绍如何新建Flink OpenSource SQL作业。 DLI Flink OpenSource SQL类型作业完全兼容社区Flink版本，并在社区connector基础之上，新增了Redis、DWS(GaussDB)数据源类型。社区Flink SQL DDL/DML/函数等语法说明及限制可参考[Table API \& SQL](https://nightlies.apache.org/flink/)。 - Flink OpenSource SQL1.15语法请参考[Flink OpenSource SQL1.15语法](https://support.huaweicloud.com/sqlref-flink-dli/dli_08_15012.html)。 - Flink OpenSource SQL1.12语法请参考[Flink OpenSource SQL1.12语法](https://support.huaweicloud.com/sqlref-flink-dli/dli_08_0379.html)。 #### 前提条件 - 创建Flink OpenSource SQL作业时，需要事先准备数据源以及数据输出通道。 - 创建Flink OpenSource SQL作业，访问其他外部数据源时，需要先创建跨源连接，打通作业运行队列到外部数据源之间的网络。 - 当前Flink作业支持访问的外部数据源详情请参考[DLI常用跨源分析开发方式](https://support.huaweicloud.com/usermanual-dli/dli_01_0410.html)。 - 创建跨源连接操作请参见[配置DLI与数据源网络连通（增强型跨源连接）](https://support.huaweicloud.com/usermanual-dli/dli_01_0426.html)。 创建完跨源连接后，可以通过"资源管理 \> 队列管理"页面，单击"操作"列"更多"中的"测试地址连通性"，验证队列到外部数据源之间的网络连通是否正常。详细操作可以参考[测试队列与数据源网络连通性](https://support.huaweicloud.com/usermanual-dli/dli_01_0489.html)。 #### 注意事项 创建作业提交任务前，建议先开通云审计服务，用于记录与DLI服务相关的操作事件，便于日后的查询、审计和回溯。云审计服务支持的DLI操作列表详见[使用CTS审计DLI服务](https://support.huaweicloud.com/usermanual-dli/dli_01_0318.html)。 关于如何开通云审计服务以及如何查看追踪事件，请参考《[云审计服务快速入门](https://support.huaweicloud.com/usermanual-cts/cts_02_0004.html)》。 #### 创建Flink OpenSource SQL作业 1. 在DLI管理控制台的左侧导航栏中，单击"作业管理"\>"Flink作业"，进入"Flink作业"页面。 2. 在"Flink作业"页面右上角单击"创建作业"，弹出"创建作业"对话框。 图1创建Flink OpenSource SQL作业 ![](https://support.huaweicloud.com/usermanual-dli/zh-cn_image_0000001209529316.png "点击放大") 3. 配置作业信息。 表1作业配置信息 | 参数 | 参数说明 | |:---|:---| | 类型 | 选择"Flink OpenSource SQL"：用户通过编辑SQL语句来启动作业。 | | 名称 | 作业名称，只能由字母、中文、数字、中划线和下划线组成，并且长度为1～57字节。 作业名称必须是唯一的。 | | 描述 | 作业的相关描述，长度为0～512字节。 | | 模板名称 | 用户可以选择样例模板或自定义的作业模板。关于模板的详细信息，请参见[管理Flink作业模板](https://support.huaweicloud.com/usermanual-dli/dli_01_0464.html)。 | | 标签 | 使用标签标识云资源。包括标签键和标签值。如果您需要使用同一标签标识多种云资源，即所有服务均可在标签输入框下拉选择同一标签，建议在标签管理服务（TMS）中创建预定义标签。 如您的组织已经设定DLI的相关标签策略，则需按照标签策略规则为资源添加标签。标签如果不符合标签策略的规则，则可能会导致资源创建失败，请联系组织管理员了解标签策略详情。 具体请参考《[标签管理服务用户指南](https://support.huaweicloud.com/usermanual-tms/zh-cn_topic_0056266269.html)》。 说明： - 最多支持20个标签。 - 一个"键"只能添加一个"值"。 - 每个资源中的键名不能重复。 - 标签键：在输入框中输入标签键名称。 说明： 标签的键的最大长度为128个字符，标签的键可以包含任意语种字母、数字、空格和_ . : +-@ ,但首尾不能含有空格，不能以_sys_开头。 - 标签值：在输入框中输入标签值。 说明： 标签值的最大长度为255个字符，标签的值可以包含任意语种字母、数字、空格和_ . : +-@ 。 | 4. 单击"确定"，进入作业"编辑"页面。 5. 编辑OpenSource SQL作业。 在SQL语句编辑区域，输入详细的SQL语句。相关SQL语句请参考《[数据湖探索Flink OpenSource SQL语法参考](https://support.huaweicloud.com/sqlref-flink-dli/dli_08_0379.html)》。 6. 单击"语义校验"，确保语义校验成功。 - 只有语义校验成功后，才可以执行"启动"作业的操作。 - 如果校验成功，提示"SQL语义校验成功"。 - 如果校验失败，会在错误的SQL语句前面显示红色的"X"记号，鼠标移动到"X"号上可查看详细错误，请根据错误提示修改SQL语句。 ![](https://support.huaweicloud.com/usermanual-dli/public_sys-resources/note_3.0-zh-cn.png) Flink 1.15不支持语法校验功能。 7. 设置作业运行参数。 表2作业运行参数说明 | 参数 | 参数说明 | |:---|:---| | 所属队列 | 队列用于指定Flink作业执行的资源队列。 队列决定了作业在弹性资源池中运行时能够使用的计算资源。每个队列都分配了指定的资源，即队列的CU，队列的CU配置直接影响作业的性能和执行效率。 在提交作业前，评估作业的资源需求，选择一个能够满足需求的队列。 Flink OpenSource SQL作业即支持选择**通用类型**的队列。 | | Flink版本 | Flink版本是选择作业运行时所使用的Flink的版本。不同版本的Flink支持不同的特性。 了解更多Flink版本的信息请参考DLI [Flink版本说明](https://support.huaweicloud.com/verspt-bulletin-dli/dli_bulletin_0012.html)。 选择使用Flink1.15版本时请在作业中配置允许DLI访问的云服务的委托信息。 Flink 1.15版本语法请参考[Flink OpenSource SQL1.15版本使用说明](https://support.huaweicloud.com/sqlref-flink-dli/dli_08_15108.html)、[Flink OpenSource SQL1.15语法](https://support.huaweicloud.com/sqlref-flink-dli/dli_08_15012.html)。 Flink 1.12版本语法请参考[Flink OpenSource SQL1.12语法](https://support.huaweicloud.com/sqlref-flink-dli/dli_08_0379.html)。 说明： 不建议长期混用不同版本的Flink引擎。 - 长期混用不同版本的Flink引擎会导致代码在新旧版本之间不兼容，影响作业的执行效率。 - 当作业依赖于特定版本的库或组件，长期混用不同版本的Flink引擎可能会导致作业因依赖冲突而执行失败。 | | UDF Jar | 用户自定义UDF文件，在后续作业中可以调用插入Jar包中的自定义函数。 UDF Jar包的管理方式： - 上传OBS管理程序包：提前将对应的jar包上传至OBS桶中。并在此处选择对应的OBS路径。 - 上传DLI管理程序包：提前将对应的jar包上传至OBS桶中，并在DLI管理控制台的"数据管理\>程序包管理"中创建程序包，具体操作请参考[创建DLI程序包](https://support.huaweicloud.com/usermanual-dli/dli_01_0367.html)。 Flink1.15及以上版本在创建作业时仅支持配置OBS中的程序包，不支持读取DLI程序包。 | | 委托 | 使用Flink 1.15及以上版本执行作业时，按需配置自定义委托用于授予DLI访问其他服务的操作权限。 自定义委托请参考[创建DLI自定义委托权限](https://support.huaweicloud.com/usermanual-dli/dli_01_0616.html)。 | | 资源配置版本 | 根据不同的Flink引擎版本，DLI提供了不同资源配置模板。 V2版本对比于V1模板不支持设置CU数量，支持直接设置Job Manager Memory和Task Manager Memory。 V1：适用于Flink 1.12、Flink 1.15 V2：适用于Flink 1.15、Flink 1.17 优先推荐使用V2版本的参数设置。 V1版本的具体参数说明请参考[表3]。 V2版本的具体参数说明请参考[表4]。 | 表3资源规格参数-V1 | 参数 | 参数说明 | |:---|:---| | CU数量 | CU数量为DLI的计算单元数量和管理单元数量总和，CU也是DLI的计费单位，1CU=1核4G。 当前配置的CU数量为运行作业时所需的CU数，不能超过其绑定队列的CU数量。 说明： 当开启TaskManager配置时，为了优化弹性资源池队列的管理，在您设置"单TM Slot"后，为您自动调整CU数量与实际CU数量一致。 **CU数量=实际CU数量=max\[管理单元和TaskManager的CPU总和，(管理单元和TaskManager的内存总和/4)\]** - 管理单元和TaskManager的CPU总和=实际TM数 \* 单TM所占CU数 + 管理单元。 - 管理单元和TaskManager的内存总和= 实际TM数 \* 设置的单个TM的内存 + 管理单元内存 - 如果配置了单TM Slot数，实际TM数 = 并行数 / 单 TM Slot数。 - 如果没配置了单TM Slot数 ，实际TM数 = （CU数量 - 管理单元）/单TM所占CU数。 - 如果没在优化参数配置单个TM的内存和管理单元内存，默认单个TM的内存 = 单TM所占CU数 \* 4。管理单元内存 = 管理单元 \* 4。 - Spark资源并行度由Executor数量和Executor CPU核数共同决定。 | | 管理单元 | 管理单元CU数量。 如果当前作业是运行在基础版弹性资源池（16-64CUs）上，推荐管理单元CU数量设置不超过2，避免执行作业时资源调度失败。 | | 并行数 | 作业的并行数是指作业中各个算子的并行执行的子任务的数量，即算子的子任务数就是其对应算子的并行度。 说明： 最大并行数不能大于计算单元（CU数量-管理单元）的4倍。 | | TaskManager配置 | 用于设置TaskManager资源参数。 - 勾选后需配置下列参数： - "单TM所占CU数"：每个TaskManager占用的资源数量。 如果当前作业是运行在基础版弹性资源池（16-64CUs）上，推荐单TM所占CU数的设置不超过2，避免执行作业时资源调度失败。 - "单TM Slot"：每个TaskManager包含的Slot数量。 - 不勾选该参数，系统自动按照默认值为您配置。 - "单TM所占CU数"：默认值为1。 - "单TM Slot"：默认值为"（并行数 \* 单TM所占CU数 ）/（CU数量 - 管理单元）"。 | | OBS桶 | 选择OBS桶用于保存用户作业日志信息、checkpoint等信息。如果选择的OBS桶是未授权状态，需要单击"OBS授权"。 | | 保存作业日志 | 设置是否将作业运行时的日志信息保存到OBS。日志信息的保存路径为："桶名/jobs/logs/作业id开头的目录"。 注意： 该参数建议勾选，否则作业运行完成后不会生成运行日志，后续如果作业运行异常则无法获取运行日志进行定位。 勾选后需配置下列参数： "OBS桶"：选择OBS桶用于保存用户作业日志信息。如果选择的OBS桶是未授权状态，需要单击"OBS授权"。 说明： 如果同时勾选了"开启Checkpoint"和"保存作业日志"，OBS授权一次即可。 | | 根日志级别 | Flink 1.15及以上版本支持配置该参数。 日志级别用于区分日志信息的重要性和紧急程度。根日志级别是全局的日志级别设置，它为整个应用程序提供了一个默认的日志级别。 当没有为特定的日志记录器或类设置日志级别时，根日志级别将被使用。例如，如果根日志级别设置为INFO，那么所有未单独设置级别的日志记录器都将输出INFO及以上级别的日志。 从低到高，日志级别的优先级通常为：TRACE\