更新时间:2024-02-01 GMT+08:00

规划数据湖

MRS对接LakeFormation仅支持对接LakeFormation实例的数据目录名称为“hive”的Catalog,名称为“default”的数据库。

LakeFormation实例创建成功后,用户可按照业务规划创建相关Catalog及内部的数据库、表等元数据。

例如参考以下步骤,创建Catalog名称为“hive”(固定名称,不可自定义),并为该Catalog创建数据库“default”(固定名称,不可自定义),数据库内包含两个数据表“table_A”、“table_B”,并进行授权。

创建存储元数据的OBS路径

  1. 创建OBS并行文件系统,详情请参考创建并行文件系统章节。例如文件系统名称为“lakeformation-test”。
  2. 在并行文件系统页面,单击已创建的文件系统名称,例如“lakeformation-test”。
  3. 在左侧导航栏选择“文件”,单击“新建文件夹”,填写待创建的文件夹名称,单击“确定”。继续单击该文件夹名称,单击“新建文件夹”,可以创建其子文件夹。

    参考该步骤,依次创建用于存放元数据的路径,例如:

    • Catalog存储路径:lakeformation-test/catalog1
    • 数据库存储路径:lakeformation-test/catalog1/database1
    • 数据表存储路径:lakeformation-test/catalog1/database1/table1、lakeformation-test/catalog1/database1/table
    • 函数存储路径:lakeformation-test/catalog1/database1/udf1

创建Catalog

  1. 登录管理控制台。
  2. 在左上角单击“”,选择“大数据 > 湖仓构建 LakeFormation”进入LakeFormation控制台。
  3. 在左侧下拉框中选择创建LakeFormation实例及客户端连接已创建的LakeFormation实例(例如lakeformation-test),在左侧导航栏选择“元数据 > Catalog”。

    如果当前实例已包含名称为“hive”的Catalog,则跳过Catalog的创建操作。

  4. 单击“创建Catalog”,配置以下参数后,单击“提交”。

    • Catalog名称:hive

      固定名称,不可自定义。

    • 选择位置:单击“”,选择存储位置,例如选择“obs://lakeformation-test/catalog1”,单击“确定”。
    • Catalog类型:DEFAULT
    • 其他参数保持默认。

  5. 创建完成后,即可在“Catalog”页面查看相关信息。

创建数据库

  1. 登录管理控制台。
  2. 在左上角单击“”,选择“大数据 > 湖仓构建 LakeFormation”进入LakeFormation控制台。
  3. 在左侧下拉框中选择创建LakeFormation实例及客户端连接已创建的LakeFormation实例(例如lakeformation-test),在左侧导航栏选择“元数据 > 数据库”。
  4. 在右上角“Catalog”后的下拉框中选择“hive”。

    如果当前已包含名称为“default”的数据库,则跳过数据库的创建操作。

  5. 单击“创建数据库”,配置相关参数后,单击“提交”。

    • 库名称:default

      固定名称,不可自定义。

    • 所属Catalog:hive
    • 选择位置:单击“”,选择位置,例如选择“obs://lakeformation-test/catalog1/database1”,单击“确定”。
    • 其他参数保持默认。

  6. 创建完成后,即可在“数据库”页面查看详细信息。

创建数据表

  1. 登录管理控制台。
  2. 在左上角单击“”,选择“大数据 > 湖仓构建 LakeFormation”进入LakeFormation控制台。
  3. 在左侧下拉框中选择创建LakeFormation实例及客户端连接已创建的LakeFormation实例(例如lakeformation-test),选择“元数据 > 表”,在右上角“Catalog”和“数据库”后的下拉框中分别选择“hive”、“default”。
  4. 单击“创建表”,配置相关参数后,单击“提交”。

    • 表名称:自定义,例如“table_A”。
    • 数据存储位置:单击“”,选择表存储在OBS并行文件系统中的位置,例如选择“obs://lakeformation-test/catalog1/database1/table1”,单击“确定”。
    • 其他参数请根据实际需要进行配置。

  5. 参考4创建名称为“table_B”的数据表,存储路径为“lakeformation-test/catalog1/database1/table2”。
  6. 创建完成后,即可在数据表页面查看相关信息。

为元数据授权

  1. 登录管理控制台。
  2. 在左上角单击“”,选择“大数据 > 湖仓构建 LakeFormation”进入LakeFormation控制台。
  3. 在左侧下拉框中选择待操作的LakeFormation实例,选择“数据权限 > 数据授权”。
  4. 单击“授权”,根据实际需要对hive数据目录、default数据库等进行授权,单击“确定”。

    更多授权详细配置及要求请参考新增授权章节。