文档首页 > > 用户指南> 操作指南> 作业管理> 可视化编辑器

可视化编辑器

分享
更新时间: 2019/12/03 GMT+08:00

CS针对不太熟悉SQL的用户,提供了可视化编辑器功能,可视化编辑器又可称为可视化SQL编辑器,它将CS需要对接的上下游服务(如DIS、CloudTable等)和内部逻辑算子(如 filter、window等)封装成可拖拽的组件,用户只需要将其拖入画布中并用连线将各个元素连接,就能轻松的创建出一个作业的拓扑,再通过点击画布中的各个元素设置对应参数,就能轻松完成一个作业的编辑。可视化编辑器分三个区域:

  • 可拖拽元素区,暂时包含如下元素,后续会逐渐的丰富数据源、算子和输出源和种类以满足用户更多的场景需求。
    • 数据源:DIS、OBS、CloudTable。
    • 算子:Union、Filter、Window、Select。
    • 输出通道: DIS、CloudTable、SMN、RDS。
  • 画布区
  • 元素参数设置区

操作步骤

以下操作以DIS-CS(Window)-DIS场景为例使用可视化编辑器新建一个Flink SQL作业。

  1. 登录CS管理控制台。
  2. 在CS管理控制台的左侧导航栏中,单击作业管理,进入“作业管理”页面。
  3. 单击“新建”,弹出“新建作业”页面。
  4. 配置作业信息。

    图1 新建作业
    表1 作业配置信息

    参数

    参数说明

    类型

    Flink SQL作业。

    说明:

    可视化编辑器暂时只支持Flink SQL作业类型。

    名称

    作业名称,只能由英文、中文、数字、中划线和下划线组成,并且长度为1~57字节。

    说明:

    作业名称必须是唯一的。

    描述

    作业的相关描述,且长度为0~512字节。

    编辑器

    下拉选项包含“SQL编辑器”“可视化编辑器”,这里选择“可视化编辑器”

  5. 单击“确认”,进入作业可视化编辑页面。
  6. 将用到的元素,如数据源DIS,Window算子,输出源DIS,从可拖拽元素区中拖入画布区。

    图2 拖拽元素到画布区

    用户可以双击元素对相应元素进行删除。

  7. 将各元素根据先后逻辑连接。

    从一个元素的出端口拖出一条曲线指向其他元素的入端口,可连接的元素的端口将变绿,而没有变化的端点将不能连接,如输入源元素不能直接连接到输出源元素上。

    用户可以双击连线对相应连线进行删除。

  8. 配置画布区元素参数设置。

    1. 单击输入源元素,如source_dis_1,右侧元素参数区将自动弹出该元素需要配置的参数,配置对应数据流的属性和元素参数。
      表2 DIS输入源元素参数配置

      参数

      参数说明

      数据流属性设置

      单击“增加一个属性”,输入属性名称和类型新增一个数据流属性。

      “属性名”以英文字母开头,只能包含英文字母、数字和下划线,长度不超过20个字符。

      属性类型包含如下:STRING、INT、BIGINT、BOOLEAN、DOUBLE、FLOAT和TIMESTAMP。

      单击“插入测试数据”,插入属性的测试数据。

      单击“删除测试数据”,删除属性的测试数据。

      在属性列表中,单击“删除”,可以删除对应的属性。

      元素参数设置

      类型

      元素的类型,根据不同的输入源,包含如下几种类型:

      • source-dis
      • source-obs
      • source-cloudtable

      当前作用域

      用户所在的region域。

      DIS通道

      当数据源选择DIS时,该参数有效。

      选择一个输入源的DIS通道。

      分区数量

      当数据源选择DIS时,该参数有效。

      分区是吞吐容量的单位。每个分区的最高发送速度可达 1MB/秒及1000 条记录/秒,最高提取速度可达2MB/秒。

      编码

      当数据源选择DIS时,该参数有效。

      数据的编码方式,支持CSV和JSON。

      字段分隔符

      当数据源选择DIS且编码方式为CSV或者当数据源选择OBS时,该参数有效。

      属性之间的分隔符,默认为逗号。

      JSON配置

      当数据源选择DIS且编码方式为JSON时,该参数有效。

      配置JSON字段和流定义字段的映射关系,比如"attr1=student.name;attr2=student.age;"。

      表3 OBS输入源元素参数配置

      参数

      参数说明

      数据流属性设置

      单击“增加一个属性”,输入属性名称和类型新增一个数据流属性。

      “属性名”以英文字母开头,只能包含英文字母、数字和下划线,长度不超过20个字符。

      属性类型包含如下:STRING、INT、BIGINT、BOOLEAN、DOUBLE、FLOAT和TIMESTAMP。

      单击“插入测试数据”,插入属性的测试数据。

      单击“删除测试数据”,删除属性的测试数据。

      在属性列表中,单击“删除”,可以删除对应的属性。

      元素参数设置

      类型

      元素的类型,根据不同的输入源,包含如下几种类型:

      • source-dis
      • source-obs
      • source-cloudtable

      当前作用域

      用户所在的region域。

      OBS桶

      当数据源选择OBS时,该参数有效。

      选择输入源所在的OBS桶。

      对象名称

      当数据源选择OBS时,该参数有效。

      选择输入源数据所在的OBS桶中的对象名。

      行分隔符

      当数据源选择OBS时,该参数有效。

      行间的分隔符,默认为"\n"。

      字段分隔符

      属性之间的分隔符,默认为逗号。

      表4 CloudTable输入源元素参数配置

      参数

      参数说明

      数据流属性设置

      单击“增加一个属性”,输入属性名称和类型新增一个数据流属性。

      “属性名”以英文字母开头,只能包含英文字母、数字和下划线,长度不超过20个字符。

      属性类型包含如下:STRING、INT、BIGINT、BOOLEAN、DOUBLE、FLOAT和TIMESTAMP。

      单击“插入测试数据”,插入属性的测试数据。

      单击“删除测试数据”,删除属性的测试数据。

      在属性列表中,单击“删除”,可以删除对应的属性。

      元素参数设置

      类型

      元素的类型,根据不同的输入源,包含如下几种类型:

      • source-dis
      • source-obs
      • source-cloudtable

      当前作用域

      用户所在的region域。

      表名

      当数据源选择CloudTable时,该参数有效。

      待读取数据表的表名。

      集群ID

      当数据源选择CloudTable时,该参数有效。

      待读取数据表所属集群ID。

      待读列

      当数据源选择CloudTable时,该参数有效。

      具体形式如:"rowKey,f1:c1,f1:c2,f2:c1",并且保证与数据源属性个数相同。

    2. 单击算子元素,如operator_window_1,右侧元素参数区将自动弹出该元素需要配置的参数,配置对应属性和参数。
      Window算子支持两种时间类型做窗口:Event Time和Processing Time。每种类型下,又分别支持三种窗口类型:滚动窗口(TUMBLE),滑动窗口(HOP)和会话窗口(SESSION)。支持用户对窗口内的数据进行计算,如对窗口内数据进行求和、求平均等操作。
      表5 Window算子元素参数配置

      参数

      参数说明

      源属性

      显示在输入源中设置的所属源,属性名和类型。

      窗口聚合参数配置

      时间类型

      支持两种时间类型:Event Time和Processing Time。

      时间属性

      当时间类型为Event Time时,时间属性为用户提供的事件时间即源属性中类型为timestamp的数据;

      当时间类型为Processing Time时,时间属性为系统对事件进行处理的本地系统时间proctime。

      WaterMark策略

      时间类型为Event Time时,该参数有效。

      时间类型为Event Time时, 要求用户必须指定watermark的计算方法。这是因为用户的数据往往是乱序的,如果不配置一个watermark来合理的延迟用户数据,那样数据聚合的结果往往都有很大的偏差。

      WaterMark策略支持“按时间周期”“按事件个数”

      最大延迟周期

      表示允许最大延迟时间。默认值为20秒。

      发送周期

      当WaterMark策略为“按时间周期”时,该参数有效。

      watermark的发送周期。默认值为10秒。

      事件个数

      当WaterMark策略为“按事件个数”时,该参数有效。

      表示每收到多少个数据发送一次watermark。默认值为10个。

      GroupBy

      窗口类型

      每种时间类型下分别支持三种窗口类型:

      • 滚动窗口
      • 滑动窗口
      • 会话窗口

      窗口周期

      窗口将每个元素分配到一个指定窗口大小的窗口,指定的窗口大小即为窗口周期。默认值为1天。

      分组属性

      可选参数。

      根据时间窗分组外还可以通过属性进行分组。分组属性为在输入源中设置的属性,支持多选。

      滑动周期

      “窗口类型”“滑动窗口”时,该参数有效。

      滑动窗口有两个参数:

      • size:指窗口的大小(即窗口周期)
      • slide: 指每次滑动的步长(即滑动周期)

      如果slide < size,则窗口会重叠,每个元素会被分配到多个窗口;

      如果 slide = size,则等同于滚动窗口;

      如果 slide > size,则为跳跃窗口,窗口之间没有重叠且有间隙。

      Select属性

      单击“添加一个Select属性”,选择函数和类型。

      “函数类型”可以选择“窗口函数”“聚合函数”“不绑定”

      “窗口函数”根据选择不同的窗口类型可以选择不同的窗口函数:
      • “窗口类型”“滚动窗口”时,可选的窗口函数为TUMBLE_START和TUMBLE_END。
      • “窗口类型”“滑动窗口”,可选的窗口函数为HOP_START和HOP_END。
      • “窗口类型”“会话窗口”,可选的窗口函数为SESSION_START和SESSION_END。

      “聚合函数”包含如下函数类型:COUNT、AVG、SUM、MAX和MIN。

      “类型”包含如下:STRING、INT、BIGINT、BOOLEAN、DOUBLE、FLOAT和TIMESTAMP。

      单击展开对应的函数进行参数设置。

      单击“删除”,可以删除对应的函数类型。

      Select算子对应的SQL语句为Select,用于从数据流中选取数据,Select中选取的属性名,必须是导入Select算子的源数据中存在的属性。

      表6 Select算子元素参数配置

      参数

      参数说明

      源属性

      显示在输入源中设置的所属源,属性名和类型。

      输出属性

      单击“增加一个属性”,输入Select字段,选择属性类型。

      Select算子用于选取输出数据流,每个输出属性可以是:

      • 数据源的输入属性;
      • 数据源各属性间的逻辑集合(如属性相加、相减等);
      • 对源属性的函数运算;
      • 其他;

      “类型”包含如下:STRING、INT、BIGINT、BOOLEAN、DOUBLE、FLOAT和TIMESTAMP。

      单击“删除”,可以删除对应的属性。

      Filter算子对应的SQL语句为WHERE,用于从数据流中过滤数据,过滤规则中支持算术运算符,关系运算符和逻辑运算符。

      表7 Filter算子元素参数配置

      参数

      参数说明

      源属性

      显示在输入源中设置的所属源,属性名和类型。

      过滤规则

      单击“添加一个规则”,输入过滤规则。支持添加多条规则。

      单击“删除”,可以删除对应的过滤规则。

      输出属性

      显示输出属性名和类型。

      Union算子将多个流合并起来,要求多个流的属性完全一致,包括属性类型和属性顺序。

      表8 Union算子元素参数配置

      参数

      参数说明

      输出属性

      显示输出属性名和类型。

    3. 单击输出源元素,如sink_dis_1,右侧元素参数区将自动弹出该元素需要配置的参数,配置对应数据流的属性和元素参数。
      表9 DIS输出源元素参数配置

      参数

      参数说明

      数据流属性设置

      单击“增加一个属性”,输入属性名称和类型新增一个数据流属性。

      “属性名”以英文字母开头,只能包含英文字母、数字和下划线,长度不超过20个字符。

      “属性类型”包含如下:STRING、INT、BIGINT、BOOLEAN、DOUBLE、FLOAT和TIMESTAMP。

      在属性列表中,单击“删除”,可以删除对应的属性。

      元素参数设置

      类型

      元素的类型,根据不同的输出源,包含如下几种类型:

      • sink-dis
      • sink-cloudtable
      • sink-smn
      • sink-rds

      当前作用域

      用户所在的region域。

      DIS通道

      当输出源选择DIS时,该参数有效。

      选择一个输入源的DIS通道。

      Partition Key

      当输出源选择DIS时,该参数有效。

      输出到DIS通道时用于分发到不同分区的Key值。

      当通道有多个分区时用来分发的Key,多个Key用逗号分隔。

      编码

      当输出源选择DIS时,该参数有效。

      数据的编码方式,支持CSV和JSON。

      字段分隔符

      当输出源选择DIS时,该参数有效。

      属性之间的分隔符,默认为逗号。

      表10 CloudTable输出源元素参数配置

      参数

      参数说明

      数据流属性设置

      单击“增加一个属性”,输入属性名称和类型新增一个数据流属性。

      “属性名”以英文字母开头,只能包含英文字母、数字和下划线,长度不超过20个字符。

      “属性类型”包含如下:STRING、INT、BIGINT、BOOLEAN、DOUBLE、FLOAT和TIMESTAMP。

      在属性列表中,单击“删除”,可以删除对应的属性。

      元素参数设置

      类型

      元素的类型,根据不同的输出源,包含如下几种类型:

      • sink-dis
      • sink-cloudtable
      • sink-smn
      • sink-rds

      当前作用域

      用户所在的region域。

      表名

      当输出源选择CloudTable时,该参数有效。

      待读取数据表的表名。

      集群ID

      当输出源选择CloudTable时,该参数有效。

      待读取数据表所属集群ID。

      待读列

      当输出源选择CloudTable时,该参数有效。

      具体形式如:"rowKey,f1:c1,f1:c2,f2:c1",并且保证与source相同的列数。

      异常数据表

      当输出源选择CloudTable时,该参数有效。

      转储异常数据的表,用来存储无法按照用户指定的配置写入HBase的数据,如果指定该表,异常数据会写入该表,否则会丢弃。

      创建空表

      当输出源选择CloudTable时,该参数有效。

      待写入的表或者列族不存在时,是否创建空表,默认值为FALSE。

      数据量

      当输出源选择CloudTable时,该参数有效。

      表示一次性批量写入的数据量,值必须为正整数,上限为100,默认值为10。

      表11 SMN输出源元素参数配置

      参数

      参数说明

      数据流属性设置

      单击“增加一个属性”,输入属性名称和类型新增一个数据流属性。

      “属性名”以英文字母开头,只能包含英文字母、数字和下划线,长度不超过20个字符。

      “属性类型”包含如下:STRING、INT、BIGINT、BOOLEAN、DOUBLE、FLOAT和TIMESTAMP。

      在属性列表中,单击“删除”,可以删除对应的属性。

      元素参数设置

      类型

      元素的类型,根据不同的输出源,包含如下几种类型:

      • sink-dis
      • sink-cloudtable
      • sink-smn
      • sink-rds

      当前作用域

      用户所在的region域。

      主题URN

      当输出源选择SMN时,该参数有效。

      输入主题URN。

      消息标题

      当输出源选择SMN时,该参数有效。

      发往SMN服务的消息标题。

      输出流列名

      当输出源选择SMN时,该参数有效。

      输出流的列名,其内容作为消息的内容。

      表12 RDS输出源元素参数配置

      参数

      参数说明

      数据流属性设置

      单击“增加一个属性”,输入属性名称和类型新增一个数据流属性。

      “属性名”以英文字母开头,只能包含英文字母、数字和下划线,长度不超过20个字符。

      “属性类型”包含如下:STRING、INT、BIGINT、BOOLEAN、DOUBLE、FLOAT和TIMESTAMP。

      在属性列表中,单击“删除”,可以删除对应的属性。

      元素参数设置

      类型

      元素的类型,根据不同的输出源,包含如下几种类型:

      • sink-dis
      • sink-cloudtable
      • sink-smn
      • sink-rds

      当前作用域

      用户所在的region域。

      用户名

      当输出源选择RDS时,该参数有效。

      创建RDS数据库实例时的用户名root。

      密码

      当输出源选择RDS时,该参数有效。

      创建RDS数据库实例时填写的密码。

      数据库URL

      当输出源选择RDS时,该参数有效。

      数据库所在节点内网IP、端口和DB名称的组合,格式如:mysql://192.168.0.12:8635/dbName

      数据库表名

      当输出源选择RDS时,该参数有效。

      数据库所在节点中创建的表名。

  9. (可选)单击“SQL编辑器”,可以将可视化编辑器信息转换成SQL语句。
  10. (可选)单击“保存”,即可保存作业参数配置。
  11. 如果用户需要运行作业,则单击“提交”
分享:

    相关文档

    相关产品

文档是否有解决您的问题?

提交成功!

非常感谢您的反馈,我们会继续努力做到更好!

反馈提交失败,请稍后再试!

*必选

请至少选择或填写一项反馈信息

字符长度不能超过200

提交反馈 取消

如您有其它疑问,您也可以通过华为云社区问答频道来与我们联系探讨

跳转到云社区