更新时间:2022-05-19 GMT+08:00
分享

Flink模板管理

Flink模板包括样例模板和自定义模板。用户可以在已有的样例模板中进行修改,来实现实际的作业逻辑需求,节约编辑SQL语句的时间。也可以根据自己的习惯和方法自定义作业模板,方便后续可以直接调用或修改。

Flink模板管理主要包括如下功能:

Flink SQL样例模板

Flink SQL样例模板列表显示已有的Flink SQL样例作业模板,Flink SQL样例模板列表参数说明如表 1所示。

表1 Flink SQL样例模板列表参数

参数

参数说明

名称

模板名称,只能由英文、中文、数字、中划线和下划线组成,并且长度为1~64个字符。

描述

模板的相关描述,且长度为0~512个字符。

操作

“创建作业”:直接在该模板下创建作业,创建完后,系统跳转到作业管理下的作业编辑页面。

当前已有的样例模板包括如下场景:

  • NGINX访问日志实时ETL入库
  • 套牌车辆检测
  • 电子围栏告警
  • 车辆偏航告警
  • 车辆超速告警
  • 流式随机森林异常检测
  • CloudTable-DLI Flink-CloudTable
  • DIS-DLI Flink-CSS(Elasticsearch)
  • DIS-DLI Flink-CloudTable(OpenTSDB)
  • DIS-DLI Flink-CloudTable
  • DIS-DLI Flink-DCS
  • DIS-DLI Flink-DDS(MongoDB)
  • DIS-DLI Flink-DIS
  • DIS-DLI Flink-OBS-DWS
  • DIS-DLI Flink-SMN
  • Kafka-DLI Flink-Kafka
  • OBS-DLI Flink-RDS
  • Stream-Join-Table(DCS)
  • Stream-Join-Table(RDS)

Flink OpenSource SQL样例模板

Flink OpenSource SQL样例模板列表显示已有的Flink OpenSource SQL样例作业模板,Flink OpenSource SQL样例模板列表参数说明如表 1所示。

表2 Flink OpenSource SQL样例模板列表参数

参数

参数说明

名称

模板名称,只能由英文、中文、数字、中划线和下划线组成,并且长度为1~64个字符。

描述

模板的相关描述,且长度为0~512个字符。

操作

“创建作业”:直接在该模板下创建作业,创建完后,系统跳转到作业管理下的作业编辑页面。

当前已有的样例模板包括如下场景:

  • 利用地址信息的维表生成订单信息宽表
  • 实时统计每天成交额、订单数和支付人数等指标
  • 统计实时点击量最高的商品

自定义模板

自定义模板列表显示所有的jar作业模板,自定义模板列表参数说明如表 1所示。

表3 自定义模板列表参数

参数

参数说明

名称

模板名称,只能由英文、中文、数字、中划线和下划线组成,并且长度为1~64个字符。

类型

模板类型。

  • Flink SQL作业模板
  • Flink OpenSource SQL作业模板

描述

模板的相关描述,且长度为0~512个字符。

创建时间

创建模板的时间。

更新时间

最后修改模板的时间。

操作

  • “编辑”:对已经创建好的模板进行修改。
  • “创建作业”:直接在该模板下创建作业,创建完后,系统跳转到作业管理下的作业编辑页面。
  • 更多:
    • “删除”:将已经创建的模板删除。
    • “标签”:查看或添加标签。

新建模板

创建作业模板,有以下四种方法。

  • 进入作业模板页面新建模板。
    1. 在DLI管理控制台的左侧导航栏中,单击作业模板>Flink模板
    2. 单击页面右上角“创建模板”,弹出创建模板页面。
    3. 输入“名称”“描述”
      图1 新建Flink模板
      表4 模板配置信息

      参数

      参数说明

      类型

      模板类型。

      • Flink SQL作业模板
      • Flink OpenSource SQL作业模板

      名称

      模板名称,只能由字母、中文、数字、中划线和下划线组成,并且长度为1~64个字符。

      说明:

      模板名称必须是唯一的。

      描述

      模板的相关描述,且长度为0~512字符。

      标签

      使用标签标识云资源。包括“标签键”“标签值”。如果您需要使用同一标签标识多种云资源,即所有服务均可在标签输入框下拉选择同一标签,建议在标签管理服务(TMS)中创建预定义标签。具体请参考《标签管理服务用户指南》。

      说明:
      • 最多支持10个标签。
      • 一个“键”只能添加一个“值”。
      • 标签键:在输入框中输入标签键名称。
        说明:

        标签键的最大长度为36个字符 ,只能包含大小写字母,数字,中划线“-”,下划线“_”,中文,且首尾字符不能为空格。

      • 标签值:在输入框中输入标签值。
        说明:

        标签值的最大长度为43个字符,只能包含大小写字母,数字,中划线“-”,下划线“_”,点“.”中文,且首尾字符不能为空格。

    4. 单击“确定”,进入编辑页面。
      图2 编辑作业模板
      界面介绍

      功能

      描述

      名称

      可以修改模板名称。

      描述

      可以修改模板描述。

      保存方式

      • 修改:将修改保存至当前的模板中。
      • 新增:将修改另存为新的模板。

      SQL语句编辑区域

      输入详细的SQL语句,实现业务逻辑功能。SQL语句的编写请参考《数据湖探索SQL语法参考》

      保存

      保存修改。

      创建作业

      使用当前模板创建作业。

      格式化

      对SQL语句进行格式化,将SQL语句格式化后,需要重新编辑SQL语句。

      主题设置

      更改字体大小、自动换行、页面风格(黑色底或白色底)等配置。

    5. 在SQL语句编辑区域,输入SQL语句,实现业务逻辑功能。SQL语句的编写请参考《数据湖探索SQL语法参考》
    6. SQL编辑完成后,单击右上角的“保存”,完成创建模板。
    7. (可选)如果不需要进行修改,也可以单击右上角的“创建作业”基于当前模板创建作业。创建作业请参考创建Flink SQL作业创建Flink Jar作业创建Flink OpenSource SQL作业
  • 基于现有作业模板新建模板
    1. 在DLI管理控制台的左侧导航栏中,单击作业模板>Flink模板,单击“自定义模板”页签。
    2. 在自定义模板列表中,单击所需作业模板“操作”列中的“编辑”,进入模板编辑页面。
    3. 修改完成后,“保存方式”选择“新增”。
    4. 单击右上角“保存”,完成另存一个新模板。
  • 基于新建作业新建模板
    1. 在DLI管理控制台的左侧导航栏中,单击作业管理>Flink作业,进入“Flink作业”页面。
    2. 单击右上角“创建作业”,弹出“创建作业”页面。
    3. 配置作业信息,输入“名称”和“描述”,选择“模板”。
    4. 单击“确认”,进入作业编辑页面。
    5. SQL编辑完成后,单击“设为模板”,弹出“设为模板”窗口。
    6. 输入“名称”“描述”,单击“确认”,完成另存一个新模板。
  • 基于现有作业新建模板
    1. 在DLI管理控制台的左侧导航栏中,单击作业管理>Flink作业,进入“Flink作业”页面。
    2. 在作业列表中,选择一个需要设置为模板的作业,在“操作”列单击“编辑”,进入作业编辑页面。
    3. SQL编辑完成后,单击设为模板,弹出“设为模板”窗口。
    4. 输入“名称”“描述”,单击“确认”,完成另存一个新模板。

基于模板新建作业

用户可以基于样例模板或者自定义模板新建作业。

  1. 在DLI管理控制台的左侧导航栏中,单击作业模板>Flink模板
  2. 在样例模板列表中,单击对应模板“操作”列中的“创建作业”。创建作业请参考创建Flink SQL作业创建Flink Jar作业

修改模板

用户创建完自定义模板后,可以根据实际需求修改自定义模板。样例模板不支持修改,但是可以查看。

  1. 在DLI管理控制台的左侧导航栏中,单击作业模板>Flink模板,单击“自定义模板”页签。
  2. 在自定义模板列表中,选择一个需要修改的模板,单击模板名称或该模板“操作”列中的“编辑”,进入编辑页面。
  3. 在SQL语句编辑区,根据需要修改SQL语句。
  4. “保存方式”选择“修改”。
  5. 单击右上角“保存”,保存当前模板修改的内容。

删除模板

用户可以根据需求删除不需要的自定义模板,不支持删除样例模板。模板删除后无法恢复,请谨慎操作。

  1. 在DLI管理控制台的左侧导航栏中,单击作业模板>Flink模板,单击“自定义模板”页签。
  2. 在自定义模板列表中,勾选需要删除的模板,支持多选,单击自定义模板列表左上方的“删除”

    用户也可以在自定义模板列表中,勾选需要删除的模板,单击“操作”栏中“更多 > 删除”,删除对应的模板。

  3. 在弹出的删除确认窗口中,单击“是”
分享:

    相关文档

    相关产品

close