配置LakeFormation数据连接前准备

MRS对接LakeFormation仅支持对接LakeFormation实例的数据目录名称为“hive”的Catalog。

1. 确认左上角实例是新创建的LakeFormation实例名称后，进入“元数据 > Catalog”页面。（如果当前实例已包含名称为“hive”的Catalog，则跳过Catalog的创建操作。）
2. 单击“创建Catalog”，配置以下参数后，单击“提交”。
   • Catalog名称：hive（固定名称，不可自定义）
   • 选择位置：单击“”选择Catalog对应的OBS存储路径，例如选择“obs://lakeformation-test/hive”（需提前创建），单击“确定”。
   • 其他参数根据实际需要进行配置。

   

3. 在左侧导航栏选择“元数据 > 数据库”，单击“创建数据库”，配置以下信息并单击“提交”。（如果当前已包含名称为“default”的数据库，则跳过数据库的创建操作。）
   • 库名称：default（固定名称，不可自定义）
   • 所属Catalog：hive
   • 选择位置：单击“”选择hive Catalog存储路径下的位置，例如“obs://lakeformation-test/hive/default”（需提前创建），单击“确定”。
   • 其他参数根据实际需要进行配置。

   

MRS集群的VPC子网信息可通过MRS管理控制台中，MRS集群的概览页面中获取。

客户端创建完成后，在客户端详情信息中获取对应客户端的“接入IP”信息并记录。

参数配置如下：

• 委托名称：例如“visit_lakeformation_agency”
• 委托类型：选择“普通账号”
• 委托的账号：输入被委托的华为云账号名称
• 持续时间：根据实际情况自定义
  图1 创建委托
  

• 策略名称：例如“dev_visit_lakeformation”
• 策略配置方式：“可视化视图”或“JSON视图”
• 策略内容：

  策略中必须包含“lakeformation:policy:export”和“lakeformation:role:describe”。其他参数按照实际需求进行配置。

  • 可视化视图：“云服务”选择“湖仓构建”；“操作”中选择所需操作权限。其他参数按照实际需求进行配置。

    

  • JSON视图，例如配置策略内容如下：

    {
        "Version": "1.1",
        "Statement": [
            {
                "Effect": "Allow",
                "Action": [
                    "lakeformation:table:create",
                    "lakeformation:database:alter",
                    "lakeformation:table:alter",
                    "lakeformation:database:drop",
                    "lakeformation:database:create",
                    "lakeformation:role:describe",
                    "lakeformation:policy:create",
                    "lakeformation:policy:export",
                    "lakeformation:function:alter",
                    "lakeformation:function:describe",
                    "lakeformation:table:drop",
                    "lakeformation:catalog:describe",
                    "lakeformation:table:describe",
                    "lakeformation:function:drop",
                    "lakeformation:database:describe",
                    "lakeformation:function:create",
                    "lakeformation:transaction:operate",
                    "lakeformation:policy:drop"
                ]
            }
        ]
    }

参数选择如下：

• 委托名称：例如“visit_obs_agency”
• 委托类型：选择“普通账号”
• 委托的账号：输入被委托的华为云账号名称
• 持续时间：根据实际情况自定义

• 策略名称：例如“dev_visit_obs”
• 策略配置方式：JSON视图
• 策略内容：填入如下信息。

  {
      "Version": "1.1",
      "Statement": [
          {
              "Effect": "Allow",
              "Action": [
                  "obs:bucket:GetBucketLocation",
                  "obs:bucket:ListBucketMultipartUploads",
                  "obs:object:GetObject",
                  "obs:object:ModifyObjectMetaData",
                  "obs:object:DeleteObject",
                  "obs:object:ListMultipartUploadParts",
                  "obs:bucket:HeadBucket",
                  "obs:object:AbortMultipartUpload",
                  "obs:bucket:ListBucket",
                  "obs:object:PutObject"
              ],
              "Resource": [
                  "OBS:*:*:bucket:*",
                  "OBS:*:*:object:*"
              ]
          }
      ]
  }

  

  Resource参数中“bucket”的参数值表示OBS桶名称，“object”的参数值表示OBS对象名称，可根据需要指定名称。配置为“*”表示对所有OBS桶或OBS对象适用此策略。

• 其他参数按照实际需求进行配置。

参数选择如下：

• 委托名称：例如“lakeformation_test”
• 委托类型：选择“云服务”
• 云服务：选择“ECS BMS”
• 持续时间：根据实际情况自定义

• 策略名称：自定义
• 策略配置方式：选择JSON视图
• 策略内容：配置如下信息

  {
      "Version": "1.1",
      "Statement": [
          {
              "Action": [
                  "iam:agencies:assume"
              ],
              "Resource": {
                  "uri": [
                      "/iam/agencies/授予给自身账号具备访问LakeFormation权限的委托ID",
                      "/iam/agencies/授予给自身账号具备访问OBS权限的委托ID"
                  ]
              },
              "Effect": "Allow"
          }
      ]
  }

  

  • 授予给自身账号具备访问LakeFormation权限的委托ID：可参考6获取。
  • 授予给自身账号具备访问OBS权限的委托ID：可参考6获取。

1. 在左上角单击“”，选择“大数据 > 湖仓构建 LakeFormation”。
2. 查看是否弹出服务授权页面，或进入“服务授权”页面查看是否已授权。
   • 是，勾选“同意LakeFormation服务声明”，并单击“同意授权”，为当前服务授权。
   • 否，当前用户已有操作LakeFormation的权限。