SparkSQL OBS路径鉴权
鉴权说明
SparkSQL对接LakeFormation后,OBS路径鉴权对内表和外表的处理方式不同:
- 内表:LakeFormation会维护SQL资源权限与OBS路径权限之间的关联关系。当用户通过LakeFormation获取库表权限后,系统会根据授权类型自动同步对应的OBS路径权限,无需单独在LakeFormation对OBS路径进行授权。
- 外表:权限控制基于用户指定的OBS存储路径,需要提前完成对应OBS Location的权限授权(详情请参见授权步骤)。LakeFormation SQL权限与OBS路径权限分别独立控制,用户需要同时具备两种权限才能正常访问外表数据。如果用户仅有外表的SQL权限但未授权OBS路径权限,访问外表数据时会报OBS 403。
权限类型
获取方式
说明
SQL权限
通过LakeFormation库表授权
如SELECT、INSERT等。
OBS路径权限
在LakeFormation控制台进行单独授权。
对外表的OBS Location路径授权READ或WRITE。
可绕过OBS鉴权的特殊权限:以下权限类型可以跳过OBS鉴权,无需满足OBS路径权限要求即可访问外表数据:
- te_admin权限:管理员权限,拥有最高级访问能力,可以绕过OBS鉴权。
- policy create权限:策略创建权限,可以绕过OBS鉴权。
除上述特殊权限外,其他权限均需遵循OBS鉴权规则。
此外,作业日志归档路径、eventlog日志路径和SQL结果路径不受LakeFormation路径权限控制,由对应端点的委托(agency)权限控制。
授权步骤
SparkSQL的OBS鉴权始终强制生效,无需配置开关。对于外表场景,需在LakeFormation完成OBS路径授权。操作要点如下:
- 登录LakeFormation管理控制台。
- 在左侧下拉框中选择待操作的LakeFormation实例,选择“数据权限 > 数据授权”。
- 单击“创建”,在弹出的窗口中参考下表配置参数后,单击“确定”。
表1 授权配置说明 配置项
说明
主体类型
选择为委托后,在下拉列表中选择目标委托。
授权类型
选择为“路径”后,“路径”填写OBS路径,例如obs://pfs-bucket/dir/subdir。
权限
- READ:读
- WRITE:写(包含读)
关于LakeFormation上的数据授权操作详情,请参见配置LakeFormation元数据权限。