新增物理实体

操作步骤

1. 在数据服务左侧导航，选择“工具箱>数据开发>数据建模”。
2. 在左侧导航中，单击展开分层，选择一个分层。
3. 在逻辑实体列表中，在需要新增物理实体对应的“物理实体”列下，单击。
4. 单击“新增”。
5. 在“新建物理实体”界面，配置信息。
   

   如果用户无HIVE、HDFS数据源，则该数据源不开放。

   • 当逻辑实体的“实体类型”为“表”时。
     • 当“数据源类型”为“DWS”时，参数配置说明见表1。

       表1 数据源类型为DWS的参数说明

       区域	参数	说明
       基本信息	实体名称	逻辑实体名称。系统自动获取。
       	数据源类型	物理实体的数据源类型。此处选择“DWS”。 当前结构化数据（实体类型为表）支持DWS、OBS、ES、HBase、Kafka、MySql、HIVE、HDFS数据源；非结构化数据（实体类型不是表）仅支持OBS、HDFS数据源。
       	数据源实例	选择“创建”，将在对应数据源下创建对应实例；选择“关联”，请确保数据源实例下已存在表、索引或者字段。
       	存储类型	物理实体的存储类型。不支持修改。
       	表名称	物理实体表名称。默认值为实体名称，支持修改。
       	描述	物理实体描述信息。
       属性信息	属性信息	仅当逻辑实体的“实体类型”为“表”时，可以查看。 逻辑实体属性信息不支持修改，支持设置物理实体的部分属性信息。

     • 当“数据源类型”为“OBS”时，参数配置说明见表2。

       表2 数据源类型为OBS的参数说明

       区域	参数	说明
       基本信息	实体名称	逻辑实体名称。系统自动获取。
       	数据源类型	物理实体的数据源类型。此处选择“OBS”。 当前结构化数据（实体类型为表）支持DWS、OBS、ES、HBase、Kafka、MySql、HIVE、HDFS数据源；非结构化数据（实体类型不是表）仅支持OBS、HDFS数据源。
       	数据源实例	选择“创建”，将在对应数据源下创建对应实例；选择“关联”，请确保数据源实例下已存在表、索引或者字段。
       	分隔符	表头字段和值的分隔符，从下拉框中选择。
       	文件头所在行	设置文件头所在行。选择“0”，表示文件无表头。
       	文件编码	选择文件的编码格式。
       	文件格式	选择文件的格式。
       	文件路径	从OBS桶中选择分层或者文件。对应数据模型的文件存放分层或数据模型文件。
       	描述	物理实体描述信息。
       属性信息	属性信息	仅当逻辑实体的“实体类型”为“表”时，可以查看。 逻辑实体属性信息不支持修改，支持设置物理实体的部分属性信息。

     • 当“数据源类型”为“ES”时，参数配置说明见表3。其中，文件相关的配置参数要与实际的文件保持一致。

       表3 数据源类型为ES的参数说明

       区域	参数	说明
       基本信息	实体名称	逻辑实体名称。系统自动获取。
       	数据源类型	物理实体的数据源类型。此处选择“ES”。 当前结构化数据（实体类型为表）支持DWS、OBS、ES、HBase、Kafka、MySql、HIVE、HDFS数据源；非结构化数据（实体类型不是表）仅支持OBS、HDFS数据源。
       	数据源实例	选择“创建”，将在对应数据源下创建对应实例；选择“关联”，请确保数据源实例下已存在表、索引或者字段。
       	模式	分为模板模式和参数模式两种。模板模式下，需要提供ES的索引模板。
       	索引模板	当“模式”为“模板模式”时，才有此参数。 ES的索引模板。建议直接从ES服务中导出对应的索引模板。
       	索引名称	ES的索引名称。
       	主分片数	当“模式”为“参数模式”时，才有此参数。 ES的主分片数。
       	主分片副本数	当“模式”为“参数模式”时，才有此参数。 ES的主分片副本数。
       	压缩算法	当“模式”为“参数模式”时，才有此参数。 ES使用的压缩算法。目前仅支持best_compression类型。
       	合并最大线程数	当“模式”为“参数模式”时，才有此参数。 ES合并最大线程数。
       	刷新频率	当“模式”为“参数模式”时，才有此参数。 ES索引归档刷新频率。
       	日志刷新门限	当“模式”为“参数模式”时，才有此参数。 日志刷新的时长和大小门限。
       	最大合并字段	当“模式”为“参数模式”时，才有此参数。 最大合并字段。超过该阈值时，合并对应字段。
       	自定义参数	用于配置ES支持的参数字段。输入内容必须为json格式。
       属性信息	属性信息	仅当逻辑实体的“实体类型”为“表”时，可以查看。 不支持修改。

     • 当“数据源类型”为“HBase”时，参数配置说明见表4。

       表4 数据源类型为HBase的参数说明

       区域	参数	说明
       基本信息	实体名称	逻辑实体名称。系统自动获取。
       	数据源类型	物理实体的数据源类型。此处选择“HBase”。 当前结构化数据（实体类型为表）支持DWS、OBS、ES、HBase、Kafka、MySql、HIVE、HDFS数据源；非结构化数据（实体类型不是表）仅支持OBS、HDFS数据源。
       	数据源实例	选择“创建”，将在对应数据源下创建对应实例；选择“关联”，请确保数据源实例下已存在表、索引或者字段。
       	表名称	物理实体表名称，默认值为实体名称，支持修改。
       	存储类型	存储类型。目前仅支持单表。
       	生存时间（S）	生存时间。超过该时间时，移除对应数据。
       	描述	物理实体描述信息。
       	预分区	预分区的个数。
       	Rowkey规则定义	设置Rowkey规则定义。
       属性信息	属性信息	仅当逻辑实体的“实体类型”为“表”时，可以查看。 逻辑实体的属性信息不支持修改，支持设置物理实体的部分属性信息。

     • 当“数据源类型”为“Kafka”时，参数配置说明见表5。

       表5 数据源类型为Kafka的参数说明

       区域	参数	说明
       基本信息	实体名称	逻辑实体名称。系统自动获取。
       	数据源类型	物理实体的数据源类型。此处选择“Kafka”。 当前结构化数据（实体类型为表）支持DWS、OBS、ES、HBase、Kafka、MySql、HIVE、HDFS数据源；非结构化数据（实体类型不是表）仅支持OBS、HDFS数据源。
       	数据源实例	选择“创建”，将在对应数据源下创建对应实例；选择“关联”，请确保数据源实例下已存在表、索引或者字段。
       	Topic	Kafka的topic名称。
       	分区数	Kafka的分区数。
       	副本数	Kafka的副本数。备份副本数量，用于高可用场景。
       	分隔符	Kafka的消息分隔符。
       	描述	物理实体的描述信息。
       属性信息	属性信息	仅当逻辑实体的“实体类型”为“表”时，可以查看。 逻辑实体的属性信息不支持修改，支持设置物理实体的部分属性信息。

     • 当“数据源类型”为“MySql”时，参数配置说明见表6。

       表6 数据源类型为MySql的参数说明

       区域	参数	说明
       基本信息	实体名称	逻辑实体名称。系统自动获取。
       	数据源类型	物理实体的数据源类型。此处选择“MySql”。 当前结构化数据（实体类型为表）支持DWS、OBS、ES、HBase、Kafka、MySql、HIVE、HDFS数据源；非结构化数据（实体类型不是表）仅支持OBS、HDFS数据源。
       	数据源实例	选择“创建”，将在对应数据源下创建对应实例；选择“关联”，请确保数据源实例下已存在表、索引或者字段。
       	存储类型	物理实体的存储类型。不支持修改。
       	表名称	物理实体表名称。默认值为实体名称，支持修改。
       	描述	物理实体描述信息。
       属性信息	属性信息	仅当逻辑实体的“实体类型”为“表”时，可以查看。 逻辑实体的属性信息不支持修改，支持设置物理实体的部分属性信息。

     • 当“数据源类型”为“HIVE”时，参数配置说明见表7。

       表7 数据源类型为HIVE的参数说明

       区域	参数	说明
       基本信息	实体名称	逻辑实体名称。系统自动获取。
       	数据源类型	物理实体的数据源类型。此处选择“HIVE”。 当前结构化数据（实体类型为表）支持DWS、OBS、ES、HBase、Kafka、MySql、HIVE、HDFS数据源；非结构化数据（实体类型不是表）仅支持OBS、HDFS数据源。
       	数据源实例	选择“创建”，将在对应数据源下创建对应实例；选择“关联”，请确保数据源实例下已存在表、索引或者字段。
       	存储类型	物理实体的存储类型。 包含如下选项： 单表 分区数：只有HIVE数据源类型的物理实体支持分区。最多支持3个分区。请根据实际情况，设置逻辑实体每列所在的分区。
       	表名称	物理实体表名称。默认值为实体名称，支持修改。
       	描述	物理实体描述信息。
       属性信息	属性信息	仅当逻辑实体的“实体类型”为“表”时，可以查看。 不支持修改。

     • 当“数据源类型”为“HDFS”时，参数配置说明见表8。

       表8 数据源类型为HDFS的参数说明

       区域	参数	说明
       基本信息	实体名称	逻辑实体名称。系统自动获取。
       	数据源类型	物理实体的数据源类型。此处选择“HDFS”。 当前结构化数据（实体类型为表）支持DWS、OBS、ES、HBase、Kafka、MySql、HIVE、HDFS数据源；非结构化数据（实体类型不是表）仅支持OBS、HDFS数据源。
       	数据源实例	选择“创建”，将在对应数据源下创建对应实例；选择“关联”，请确保数据源实例下已存在表、索引或者字段。
       	压缩算法	HDFS服务支持的数据压缩算法。
       	分隔符	表头字段和值的分隔符，从下拉框中选择。
       	文件头所在行	设置文件头所在行。选择“0”，表示文件无表头。
       	文件编码	选择文件的编码格式。
       	文件格式	选择文件的格式。
       	文件路径	文件所在的路径。
       	存储策略	HDFS文件存储时，归档目录及名称规则。
       	描述	物理实体描述信息。
       属性信息	属性信息	仅当逻辑实体的“实体类型”为“表”时，可以查看。 逻辑实体的属性信息不支持修改，支持设置物理实体的部分属性信息。

   • 当逻辑实体的“实体类型”不为“表”时。
     • “数据源类型”为“OBS”时，参数配置说明见表9。

       表9 数据源类型为OBS的参数说明

       参数	说明
       实体名称	逻辑实体名称。系统自动获取。
       数据源类型	物理实体的数据源类型。此处选择“OBS”。 当前支持OBS和HDFS数据源。
       数据源实例	选择“创建”，将在对应数据源下创建对应实例；选择“关联”，请确保数据源实例下已存在表、索引或者字段。
       递归遍历子目录	支持选项： 是：包含该路径下的所有文件及文件夹下的文件。 否：仅包含该路径下的文件。
       文件路径	文件所在的路径。
       描述	物理实体描述信息。

     • “数据源类型”为“HDFS”时，参数配置说明见表10。

       表10 数据源类型为HDFS的参数说明

       参数	说明
       实体名称	逻辑实体名称。系统自动获取。
       数据源类型	物理实体的数据源类型。此处选择“HDFS”。 当前支持OBS和HDFS数据源。
       数据源实例	选择“创建”，将在对应数据源下创建对应实例；选择“关联”，请确保数据源实例下已存在表、索引或者字段。
       压缩算法	HDFS的压缩算法。
       递归遍历子目录	是否包含该路径下的所有文件及文件夹下的文件。 支持选项： 是：包含该路径下的所有文件及文件夹下的文件。 否：仅包含该路径下的文件。
       文件路径	文件所在的路径。
       存储策略	HDFS文件存储时，归档目录及名称规则。
       描述	物理实体描述信息。

6. 单击“预览SQL”，查看建表的SQL语句。
   

   当数据源类型为“DWS”时，才有此操作。

7. 单击“保存”。
8. 在“确认”对话框单击“确定”。

   成功创建的物理实体，自动显示在物理实体列表中。

9. （可选）支持对物理实体做如下操作：
   • 单击物理实体所在行，对应“操作”列的“修改”，修改物理实体配置信息。
   • 单击物理实体所在行，对应“操作”列的“创建”，对物理实体进行物化。即创建真实的DWE类型的表。此时物理实体的状态，从“草稿”变更为“已建表”。
   • 单击物理实体所在行，对应“操作”列的“删除”，删除物理实体。