文档首页> 数据湖工厂 DLF> 用户指南> 数据管理> 数据表> 新建数据表(可视化模式)
更新时间:2022-02-24 GMT+08:00

新建数据表(可视化模式)

用户可以通过可视化模式新建永久数据表。数据表新建完成后,可以提供给脚本和作业使用。

目前支持新建如下数据表:

  • DLI
  • DWS
  • MRS Hive
  • CloudTable

前提条件

  • 已开通相应的云服务并在云服务中创建数据库。例如,新建DLI表前,请确保DLI服务已开通,并在DLI服务中创建好数据库。
  • 已在数据开发模块中创建与数据表类型匹配的数据连接,请参见创建数据连接

操作步骤

  1. 通过“右侧区域”页面

    1. DLF控制台的左侧导航栏,选择数据开发 > 脚本开发/数据开发 > 作业开发,进入“右侧区域”页面。
    2. 在左侧菜单选择,右键单击数据表“tables”,选择“新建数据表”

  2. 在弹出的对话框中,显示“配置基本属性”页面,选择“数据表连接类型”,并参见表1配置相关参数。

    表1 基本属性

    数据连接类型

    参数说明

    DLI

    请见表3“基本属性”部分

    DWS

    请见表4“基本属性”部分

    MRS Hive

    请见表5“基本属性”部分

    CloudTable

    请见表6“基本属性”部分

  3. 单击“下一步”,在“配置表结构”页面配置如表2所示的参数。

    表2 表结构

    数据连接类型

    参数说明

    DLI

    请见表3“表结构”部分

    DWS

    请见表4“表结构”部分

    MRS Hive

    请见表5“表结构”部分

    CloudTable

    请见表6“表结构”部分

  4. 单击“确定”,新建数据表。

参数说明

表3 DLI数据表

参数

是否必选

说明

基本属性

表名

数据表的名称。只能包含英文小写字母、数字、“_”,不能为纯数字,不能以“_”开头,且长度为1~63个字符。

别名

数据表的别名,只能包含中文字符、英文字母、数字、“_”,不能为纯数字,不能以“_”开头,且长度为1~63个字符。

数据连接

选择数据表所属的数据连接。

数据库

选择数据表所属的数据库。

数据位置

选择数据存储的位置:

  • OBS
  • DLI

数据格式

选择数据的格式。“数据位置”“OBS”时,配置该参数。

  • parquet:支持读取不压缩、snappy压缩、gzip压缩的parquet数据。
  • csv:支持读取不压缩、gzip压缩的csv数据。
  • orc:支持读取不压缩、snappy压缩的orc数据。
  • json:支持读取不压缩、gzip压缩的json数据。

路径

选择数据存储的OBS路径。“数据位置”“OBS”时,配置该参数。

表描述

数据表的描述信息。

表结构

列名

填写列名,列名不能重复。

类型

选择数据类型,具体说明请参见《数据湖探索SQL语法参考》

列描述

填写列的描述信息。

操作

单击,增加列。

表4 DWS数据表

参数

是否必选

说明

基本属性

表名

数据表的名称。只能包含英文字母、数字、“_”,不能为纯数字,不能以“_”开头,且长度为1~63个字符。

别名

数据表的别名,只能包含中文字符、英文字母、数字、“_”,不能为纯数字,不能以“_”开头,且长度为1~63个字符。

数据连接

选择数据表所属的数据连接。

数据库

选择数据表所属的数据库。

模式

选择数据库的模式。

表描述

数据表的描述信息。

高级选项

提供以下高级选项:

  • 选择数据表的存储方式
    • 行存模式
    • 列存模式
  • 选择数据表的压缩级别
    • 行存模式:压缩级别的有效值为YES/NO。
    • 列存模式:压缩级别的有效值为YES/NO/LOW/MIDDLE/HIGH,还可以配置列存模式同一压缩级别下不同的压缩水平0-3(数值越大,表示同一压缩级别下压缩比越大)。

表结构

列名

填写列名,列名不能重复。

数据分类

选择数据类型的类别:

  • 数值类型
  • 货币类型
  • 布尔类型
  • 二进制类型
  • 字符类型
  • 时间类型
  • 几何类型
  • 网络地址类型
  • 位串类型
  • 文本搜索类型
  • UUID类型
  • JSON类型
  • 对象标识符类型

类型

选择数据类型,具体说明请参见《数据仓库服务开发指南》

列描述

填写列的描述信息。

是否建ES索引

单击复选框时,表示需要建立ES索引。建立ES索引时,请同时在“CloudSearch集群名”中选择建立好的CSS集群。如何创建CSS集群,请参见《云搜索服务用户指南》

ES索引数据类型

选择ES索引的数据类型:

  • text
  • keyword
  • date
  • long
  • integer
  • short
  • byte
  • double
  • boolean
  • binary

操作

单击,增加列。

表5 MRS Hive数据表

参数

是否必选

说明

基本属性

表名

数据表的名称。只能包含英文小写字母、数字、“_”,不能为纯数字,不能以“_”开头,且长度为1~63个字符。

别名

数据表的别名,只能包含中文字符、英文字母、数字、“_”,不能为纯数字,不能以“_”开头,且长度为1~63个字符。

数据连接

选择数据表所属的数据连接。

数据库

选择数据表所属的数据库。

表描述

数据表的描述信息。

表结构

列名

填写列名,列名不能重复。

数据分类

选择数据类型的类别:

  • 原始类型
  • ARRAY
  • MAP
  • STRUCT
  • UNION

类型

选择数据类型,具体说明请参见LanguageManual DDL

列描述

填写列的描述信息。

操作

单击,增加列。

表6 CloudTable数据表

参数

是否必选

说明

基本属性

表名

数据表的名称。只能包含英文字母、数字、“_”,不能为纯数字,不能以“_”开头,且长度为1~63个字符。

别名

数据表的别名,只能包含中文字符、英文字母、数字、“_”,不能为纯数字,不能以“_”开头,且长度为1~63个字符。

数据连接

选择数据表所属的数据连接。

命名空间

选择数据表所属的命名空间。

表描述

数据表的描述信息。

表结构

列族名

填写列族名,列族名不能重复。

列族描述

填写列族的描述信息。

操作

单击,增加列。