文档首页 > > 用户指南> 作业管理> Flink作业管理> 可视化编辑器

可视化编辑器

分享
更新时间: 2020/02/19 GMT+08:00

DLI针对不太熟悉SQL的用户,提供了可视化编辑器功能,可视化编辑器又可称为可视化SQL编辑器,它将DLI需要对接的上下游服务(如DIS、CloudTable等)和内部逻辑算子(如 filter、window等)封装成可拖拽的组件,用户只需要将其拖入画布中并用连线将各个节点连接,就能轻松的创建出一个作业的拓扑,再通过点击画布中的各个节点设置对应参数,就能轻松完成一个作业的编辑。可视化编辑器分三个区域:

  • 节点库,暂时包含如下节点,后续会逐渐丰富数据源、算子和输出通道的种类以满足用户更多的场景需求。
    • 数据源:DIS、OBS、CloudTable。
    • 算子:Union、Filter、Window、Select。
    • 输出通道: DIS、CloudTable、SMN、RDS。
  • 画布区
  • 节点参数设置区

该功能目前只支持创建Flink SQL作业。

操作步骤

以DIS-DLI(Window)-DIS场景为例,使用可视化编辑器新建一个Flink SQL作业。

  1. 登录DLI管理控制台。
  2. 在DLI管理控制台的左侧导航栏中,单击作业管理>Flink作业,进入“Flink作业”页面。
  3. 单击页面右上角“新建作业”,弹出“新建作业”页面。
  4. 选择“Flink SQL作业”并选择“可视化编辑器”

    图1 新建作业

  5. 单击“确认”,进入作业可视化编辑页面。
  6. 将用到的节点,如数据源DIS,Window算子,输出通道DIS,从左侧“节点库”区中拖拽到中间“画布”区。

    图2 拖拽节点到画布区

    画布中不需要的节点,可以通过双击进行删除。

  7. 根据先后逻辑连接各节点。

    从一个节点的出端口拖出一条曲线指向其他节点的入端口,可连接的节点端口将变绿,端口颜色没有变化表示不能连接该节点,例如,数据源节点不能直接连接到输出通道节点上。

    画布中不需要的连线,可以通过双击连线进行删除。

  8. 设置节点参数。

    • 单击数据源节点,如source_dis_8,在页面右侧将自动显示该节点需要配置的参数,配置对应的数据流属性和节点参数。
      表1 配置数据流属性

      参数

      参数说明

      数据流属性设置

      • 单击“增加一个属性”,输入属性名和属性类型新增一个数据流属性。
        • “属性名”以英文字母开头,只能包含英文字母、数字和下划线,长度不超过20个字符。
        • “属性类型”包含如下:STRING、INT、BIGINT、BOOLEAN、DOUBLE、FLOAT和TIMESTAMP。
        • “操作”列单击“删除”,可以删除对应的属性。
      • 单击“插入测试数据”,插入属性的测试数据。
      • 单击“删除测试数据”,删除属性的测试数据。
      表2 设置DIS数据源节点参数

      参数

      参数说明

      类型

      节点的类型,DIS数据源为source-dis。

      当前作用域

      用户所在的region域。

      分区数量

      分区是吞吐容量的单位。每个分区的最高发送速度可达 1MB/秒及1000 条记录/秒,最高提取速度可达2MB/秒。

      编码

      数据的编码方式,支持CSV和JSON。

      字段分隔符

      当编码方式为CSV时,该参数有效。

      属性之间的分隔符,默认为逗号。

      JSON配置

      当编码方式为JSON时,该参数有效。

      配置JSON字段和流定义字段的映射关系,例如:

      "attr1=student.name;attr2=student.age;"

      DIS通道

      选择数据源的DIS通道。

      表3 设置OBS数据源节点参数

      参数

      参数说明

      类型

      节点的类型,OBS数据源为source-obs。

      当前作用域

      用户所在的region域。

      对象名称

      选择输入源数据所在的OBS桶中的对象名。

      行分隔符

      行间的分隔符,默认为"\n"。

      字段分隔符

      属性之间的分隔符,默认为逗号。

      表4 设置CloudTable数据源节点参数

      参数

      参数说明

      类型

      节点的类型,CloudTable数据源为source-cloudtable。

      当前作用域

      用户所在的region域。

      队列ID

      待读取数据表所属队列ID。

      待读列

      具体形式如:"rowKey,f1:c1,f1:c2,f2:c1",并且保证与数据源属性个数相同。

      表名

      待读取数据表的表名。

    • 单击算子节点,例如operator_window_3,在页面右侧将自动显示该节点需要配置的参数,配置对应的属性和参数。
      • Union算子可将多个流合并起来,要求多个流的属性完全一致,包括属性类型和属性顺序。
        数据源少于两个时,不需要使用Union算子。
        表5 设置Union算子节点参数

        参数

        参数说明

        输出属性

        显示输出属性名和类型。

      • Filter算子对应的SQL语句为WHERE,用于从数据流中过滤数据,过滤规则中支持算术运算符,关系运算符和逻辑运算符。
        表6 设置Filter算子节点参数

        参数

        参数说明

        源属性

        显示在输入源中设置的所属源,属性名和类型。

        过滤规则

        • 单击“添加一个规则”,在“规则”列输入过滤规则。支持添加多条规则。
        • 单击“操作”列中的“删除”,可以删除对应的过滤规则。

        输出属性

        显示输出属性名和类型。

      • Window算子支持两种时间类型做窗口:Event Time和Processing Time。每种类型下,又分别支持三种窗口类型:滚动窗口(TUMBLE),滑动窗口(HOP)和会话窗口(SESSION)。支持用户对窗口内的数据进行计算,例如对窗口内数据进行求和、求平均等操作。
        表7 设置Window算子节点参数

        参数

        参数说明

        源属性

        显示在输入源中设置的所属源,属性名和类型。

        窗口聚合参数配置

        • 时间类型:支持两种时间类型。
          • Event Time
          • Processing Time。
        • 时间属性:
          • 当时间类型为Event Time时,时间属性为用户提供的事件时间即源属性中类型为timestamp的数据;
            说明:

            如果显示“不存在timestamp属性”,请在选择一个数据源,在其“节点属性设置”>“数据源属性设置”中增加“TIMESTAMP”属性,具体请参考表1

          • 当时间类型为Processing Time时,时间属性为系统对事件进行处理的本地系统时间proctime。,

        GroupBy

        • 窗口类型:每种时间类型下分别支持三种窗口类型。
          • 滚动窗口
          • 滑动窗口
          • 会话窗口
        • 窗口周期:窗口将每个节点分配到一个指定窗口大小的窗口,指定的窗口大小即为窗口周期。默认值为1天。
        • 分组属性:根据时间窗分组外还可以通过属性进行分组。分组属性为在输入源中设置的属性,支持多选。
        • 滑动周期:

          “窗口类型”“滑动窗口”时,该参数有效。

          滑动窗口有两个参数:

          • size:指窗口的大小(即窗口周期)
          • slide: 指每次滑动的步长(即滑动周期)

          如果slide < size,则窗口会重叠,每个节点会被分配到多个窗口;

          如果 slide = size,则等同于滚动窗口;

          如果 slide > size,则为跳跃窗口,窗口之间没有重叠且有间隙。

        Select属性

        单击 “添加一个Select属性”,选择函数和类型。
        • “函数类型”可以选择“窗口函数”“聚合函数”“不绑定”
        • “类型”包含如下:STRING、INT、BIGINT、BOOLEAN、DOUBLE、FLOAT和TIMESTAMP。

        单击“操作”列的“删除”,可以删除对应的select属性。

      • Select算子对应的SQL语句为Select,用于从数据流中选取数据,Select中选取的属性名,必须是导入Select算子的源数据中存在的属性。
        表8 设置Select算子节点参数

        参数

        参数说明

        源属性

        显示在输入源中设置的所属源,属性名和类型。

        输出属性

        单击“增加一个属性”,输入Select字段,选择属性类型。

        Select算子用于选取输出数据流,每个输出属性可以是:

        • 数据源的输入属性;
        • 数据源各属性间的逻辑集合(如属性相加、相减等);
        • 对源属性的函数运算;
        • 其他;

        “类型”包含如下:STRING、INT、BIGINT、BOOLEAN、DOUBLE、FLOAT和TIMESTAMP。

        单击“操作”“删除”,可以删除对应的属性。

    • 单击输出通道节点,如sink_dis_6,在页面右侧将自动显示该节点需要配置的参数,配置对应数据流属性和节点参数。
      表9 设置数据流属性

      参数

      参数说明

      数据流属性设置

      单击“增加一个属性”,输入属性名和属性类型新增一个数据流属性。

      • “属性名”以英文字母开头,只能包含英文字母、数字和下划线,长度不超过20个字符。
      • “属性类型”包含如下:STRING、INT、BIGINT、BOOLEAN、DOUBLE、FLOAT和TIMESTAMP。

      “操作”列单击“删除”,可以删除对应的属性。

      表10 设置DIS输出通道节点参数

      参数

      参数说明

      类型

      节点的类型,DIS输出通道为sink-dis。

      当前作用域

      用户所在的region域。

      Partition Key

      输出到DIS通道时用于分发到不同分区的Key值。

      当通道有多个分区时用来分发的Key,多个Key用逗号分隔。

      编码

      数据的编码方式,支持CSV和JSON。

      DIS通道

      选择一个输入源的DIS通道。

      字段分隔符

      编码方式选择CSV时,该参数有效。

      属性之间的分隔符,默认为逗号。

      输出空字段

      编码方式选择JSON时,该参数有效。默认为“False”。

      • 若为“true”表示输出空字段(值为null)。
      • 若为“false”表示不输出空字段。
      表11 设置CloudTable输出通道节点参数

      参数

      参数说明

      类型

      节点的类型,CloudTable输出通道sink-cloudtable。

      当前作用域

      用户所在的region域。

      队列ID

      待读取数据表所属集群ID。

      待读列

      具体形式如:"rowKey,f1:c1,f1:c2,f2:c1",并且保证与source相同的列数。

      表名

      待读取数据表的表名。

      异常数据表

      转储异常数据的表,用来存储无法按照用户指定的配置写入HBase的数据,如果指定该表,异常数据会写入该表,否则会丢弃。

      创建空表

      待写入的表或者列族不存在时,是否创建空表,默认值为FALSE。

      数据量

      表示一次性批量写入的数据量,值必须为正整数,上限为100,默认值为10。

      表12 设置SMN输出通道节点参数

      参数

      参数说明

      类型

      节点的类型,SMN输出通道为sink-smn。

      当前作用域

      用户所在的region域。

      消息标题

      发往SMN服务的消息标题。

      输出流列名

      输出流的列名,其内容作为消息的内容。

      主题URN

      输入主题URN。

      表13 设置RDS输出通道节点参数

      参数

      参数说明

      类型

      节点的类型,RDS输出通道为sink-rds。

      当前作用域

      用户所在的region域。

      密码

      创建RDS数据库实例时填写的密码。

      数据库URL

      数据库所在节点内网IP、端口和DB名称的组合,格式如:mysql://192.168.0.12:8635/dbName

      用户名

      创建RDS数据库实例时的用户名root。

      数据库表名

      数据库所在节点中创建的表名。

  9. (可选)单击画布上方的“SQL”,可以将可视化编辑器信息转换成SQL语句。
  10. (可选)单击页面右上角的“保存”,可保存所设置的作业参数。
  11. 单击页面右上角的“提交”,可运行作业。
分享:

    相关文档

    相关产品

文档是否有解决您的问题?

提交成功!

非常感谢您的反馈,我们会继续努力做到更好!

反馈提交失败,请稍后再试!

*必选

请至少选择或填写一项反馈信息

字符长度不能超过200

提交反馈 取消

如您有其它疑问,您也可以通过华为云社区问答频道来与我们联系探讨

跳转到云社区