更新时间:2026-11-18 GMT+08:00
分享

对接LakeFormation权限管理概述

LakeFormation作为元数据与权限统一管理服务,负责对数据目录、数据库和表进行细粒度权限隔离。创建元数据后,需要为用户(当操作主体为用户时)或委托(当操作主体为服务时)配置数据访问权限,确保作业能够正常访问所需的元数据和数据资源。

对接LakeFormation场景的权限管理分为两个层面:

  • 第一层:IAM云服务授权/委托:
    • 当操作主体为用户时:授权IAM用户或用户组使用LakeFormation服务的权限

      IAM授权的具体操作请参考创建用户并授权使用LakeFormation。

    • 当操作主体为服务时:通过委托授权AI DataLake云服务代替您访问LakeFormation。

      首次使用AI DataLake服务,您需要授权允许AI DataLake服务代表用户访问其他云服务,才可以在AI DataLake服务中执行创建工作空间,开发作业等操作。包括按需配置访问LakeFormation、AOM、DCS、LTS、DEW、OBS等服务的权限。了解更多请参考开通AI DataLake服务并授权。

      而使用委托的场景,当操作主体变成AI DataLake云服务本身,则必须换取临时凭证以“代表用户”去访问资源。

  • 第二层:资源授权:在LakeFormation管理控制台对特定资源(Catalog、数据库、数据表、列和函数等)进行授权,控制用户或委托可以访问哪些具体元数据。

    例如,用户A可能只能访问table_1,用户B可能只能访问table_2。详情请参考配置LakeFormation元数据权限。

我们按照各个引擎的作业类型,给出了对接LakeFormation场景的授权操作,如表1所示。

表1 不同作业类型对接LakeFormation的权限管理

作业场景

操作主体

第一层:IAM云服务授权(API调用权限)

第二层:资源授权(Catalog/数据库/表访问权限)

相关文档

AuraJobV2

IAM用户

创建IAM策略,并将该策略添加到用户/用户组

在LakeFormation控制台为用户、用户组、角色授权访问指定Catalog、数据库、数据表

AuraJobV2场景的LakeFormation授权

SparkSQL

IAM用户

创建IAM策略,并将该策略添加到用户/用户组

在LakeFormation控制台为用户、用户组、角色授权访问指定Catalog、数据库、数据表

SparkSQL场景的LakeFormation授权

SparkJob

委托

创建IAM委托,在端点作业配置中选择委托。

在LakeFormation控制台为角色、委托授权访问指定Catalog、数据库、数据表

SparkJob场景的LakeFormation授权

FlinkJob

委托

创建IAM委托,在端点作业配置中选择委托。

在LakeFormation控制台为角色、委托授权访问指定Catalog、数据库、数据表

FlinkJob场景的LakeFormation授权

对接LakeFormation场景下,IAM账号名不能包含中划线(-),否则Spark作业提交将报错失败。

相关问题:为什么SparkSQL和AuraJobV2使用的是用户身份,而SparkJob使用委托身份?

  • SparkSQL / AuraJobV2:用户在控制台或通过API直接提交SQL,AI DataLake以用户身份转发请求到LakeFormation,因此API授权直接给用户或用户组配置策略。
  • SparkJob:用户提交Jar包后,作业托管给AI DataLake在Spark集群后台运行,操作者变为AI DataLake云服务,因此需通过委托授权AI DataLake访问LakeFormation。

相关文档