配置模板
本章节主要介绍如何创建并使用Flink SQL模板。用户在编写Flink SQL业务代码时,对于重复的业务逻辑,可以直接引用sql模板,同时在配置作业运行参数的时候,可以直接使用作业参数模板,不用再进行重复配置。
约束限制
该功能适用于以下场景:
- Flink SQL脚本可以引用脚本模板。
- 在pipeline作业开发中,MRS Flink Job节点可以使用引入了脚本模板的Flink SQL脚本,同时在MRS Flink Job节点的“运行程序参数”里面可以引用参数模板。
- 在Flink SQL单任务作业中引用脚本模板。
- 在Flink Jar单任务作业中使用参数模板。
- Spark SQL和Hive SQL脚本及单任务作业支持引用参数模板。模板配置好之后,请到配置默认项去使用该模板。
配置方法
- 参考访问DataArts Studio实例控制台,登录DataArts Studio管理控制台。
- 在DataArts Studio控制台首页,选择对应工作空间的“数据开发”模块,进入数据开发页面。
- 在数据开发主界面的左侧导航栏,选择“配置管理 > 配置”。
- 选择“模板配置”。
- 配置脚本模板信息。
- 单击“新建”进入脚本模板配置界面。
- 输入“模板名称”。
- 在界面上输入SQL语句,并引入脚本参数。
- 配置脚本模板参数。参数名称不可修改,参数值可以进行修改。
图1 配置脚本模板
- 单击“保存”。
您可以对已创建的脚本模板进行查看、修改和删除。
- 配置参数模板信息。
最大值、最小值仅对sparkSQL脚本/作业配置默认模板时运行程序参数(--driver-memory,--executor-cores,--num-executors,--executor-memory,--conf)生效。
参数为--conf时,参数值可配置为spark.dynamicAllocation.maxExecutors。
- 单击“新建”进入参数模板配置界面。
- 输入“模板名称”。
- 单击“添加参数”。配置参数值和参数名称,参数值可以设置默认值、最大值、最小值。可以对配置的参数进行修改和删除。
如果该模板参数允许作业参数覆盖,则勾选“允许作业参数覆盖”,设置的模板参数可以允许作业参数进行覆盖。
图2 配置参数模板
- 单击“确定”。
您可以对已创建的参数模板进行查看、修改和删除。
脚本模板和参数模板的应用场景请参见引用脚本模板和参数模板的使用介绍。
- 配置脚本模板信息。