文档首页/ 湖仓构建 LakeFormation/ 快速入门/ 规划数据湖
更新时间：2024-11-21 GMT+08:00
查看PDF
分享

规划数据湖

MRS对接LakeFormation仅支持对接LakeFormation实例的数据目录名称为“hive”的Catalog，名称为“default”的数据库。

LakeFormation实例创建成功后，用户可按照业务规划创建相关Catalog及内部的数据库、表等元数据。

例如参考以下步骤，创建Catalog名称为“hive”（固定名称，不可自定义），并为该Catalog创建数据库“default”（固定名称，不可自定义），数据库内包含两个数据表“table_A”、“table_B”，并进行授权。

创建存储元数据的OBS路径

  1. 登录管理控制台。
  2. 在页面左上角单击，选择“存储 > 对象存储服务”，进入对象存储服务页面。
  3. 选择“并行文件系统 > 创建并行文件系统”，进入创建页面，配置相关参数后单击“立即创建”。

    • 文件系统名称：根据界面要求设置并行文件系统名称，例如“lakeformation-test”。
    • 其他参数根据实际情况选择。

  4. 在并行文件系统页面，单击已创建的文件系统名称，例如“lakeformation-test”。
  5. 在左侧导航栏选择“文件”，单击“新建文件夹”，填写待创建的文件夹名称，单击“确定”。继续单击该文件夹名称，单击“新建文件夹”，可以创建其子文件夹。

    参考该步骤，依次创建用于存放元数据的路径，例如：

    • Catalog存储路径：lakeformation-test/catalog1
    • 数据库存储路径：lakeformation-test/catalog1/database1
    • 数据表存储路径：lakeformation-test/catalog1/database1/table1、lakeformation-test/catalog1/database1/table2
    • 函数存储路径：lakeformation-test/catalog1/database1/udf1

创建Catalog

  1. 登录管理控制台。
  2. 在左上角单击“”，选择“大数据 > 湖仓构建 LakeFormation”进入LakeFormation控制台。
  3. 在左侧下拉框中选择创建LakeFormation实例及客户端连接已创建的LakeFormation实例（例如lakeformation-test），在左侧导航栏选择“元数据 > Catalog”。

    如果当前实例已包含名称为“hive”的Catalog，则跳过Catalog的创建操作。

  4. 单击“创建Catalog”，配置以下参数后，单击“提交”。

    • Catalog名称：hive

      固定名称，不可自定义。

    • 选择位置：单击“”，选择存储位置，例如选择“obs://lakeformation-test/catalog1”，单击“确定”。
    • Catalog类型：DEFAULT
    • 其他参数保持默认。

  5. 创建完成后，即可在“Catalog”页面查看相关信息。

创建数据库

  1. 登录管理控制台。
  2. 在左上角单击“”，选择“大数据 > 湖仓构建 LakeFormation”进入LakeFormation控制台。
  3. 在左侧下拉框中选择创建LakeFormation实例及客户端连接已创建的LakeFormation实例（例如lakeformation-test），在左侧导航栏选择“元数据 > 数据库”。
  4. 在右上角“Catalog”后的下拉框中选择“hive”。

    如果当前已包含名称为“default”的数据库，则跳过数据库的创建操作。

  5. 单击“创建数据库”，配置相关参数后，单击“提交”。

    • 库名称：default

      固定名称，不可自定义。

    • 所属Catalog：hive
    • 选择位置：单击“”，选择位置，例如选择“obs://lakeformation-test/catalog1/database1”，单击“确定”。
    • 其他参数保持默认。

  6. 创建完成后，即可在“数据库”页面查看详细信息。

创建数据表

  1. 登录管理控制台。
  2. 在左上角单击“”，选择“大数据 > 湖仓构建 LakeFormation”进入LakeFormation控制台。
  3. 在左侧下拉框中选择创建LakeFormation实例及客户端连接已创建的LakeFormation实例（例如lakeformation-test），选择“元数据 > 表”，在右上角“Catalog”和“数据库”后的下拉框中分别选择“hive”、“default”。
  4. 单击“创建表”，配置相关参数后，单击“提交”。

    • 表名称：自定义，例如“table_A”。
    • 数据存储位置：单击“”，选择表存储在OBS并行文件系统中的位置，例如选择“obs://lakeformation-test/catalog1/database1/table1”，单击“确定”。
    • 其他参数请根据实际需要进行配置。

  5. 参考4创建名称为“table_B”的数据表，存储路径为“lakeformation-test/catalog1/database1/table2”。
  6. 创建完成后，即可在数据表页面查看相关信息。

为元数据授权

  1. 登录管理控制台。
  2. 在左上角单击“”，选择“大数据 > 湖仓构建 LakeFormation”进入LakeFormation控制台。
  3. 在左侧下拉框中选择待操作的LakeFormation实例，选择“数据权限 > 数据授权”。
  4. 单击“授权”，根据实际需要对hive数据目录、default数据库等进行授权，单击“确定”。

    更多授权详细配置及要求请参考新增授权章节。