SparkJob OBS路径鉴权
鉴权说明
SparkJob对接LakeFormation后,作业运行过程中涉及的OBS路径访问均由LakeFormation统一进行权限管控。管控范围包括两大类:
- 作业资源文件:作业提交时指定的Jar、依赖文件、归档包、Python文件等OBS路径。
- 作业读写的数据路径:作业代码中读写的数据所在OBS路径,包括以下两种情形:
- 直接读写OBS路径:在作业代码中通过Spark API直接指定OBS路径进行数据读写。
- 通过外表访问OBS路径:通过SQL语句访问LakeFormation外表,引擎按表元数据中的Location读写对应OBS路径。
内表(Managed Table)的数据存储路径由LakeFormation自动管理,授予库表权限后系统会自动同步对应的OBS路径权限,因此无需单独对OBS路径进行授权。
以上两种情形均需在LakeFormation上对作业委托授予对应OBS路径的READ或WRITE权限,未授权时会报OBS 403错误。详情请参见授权步骤和受管控范围。
受管控范围
启用路径鉴权后,SparkJob作业内以下OBS文件读写都由LakeFormation进行精细的访问控制:
- 作业资源文件: 作业提交时指定的各类资源文件OBS路径,包括运行Jar、依赖Jar、依赖文件、归档包、Python文件等,在API接口的body体中配置。
字段
说明
main_jar
运行Jar(主Jar)的OBS路径。
dependency_jars
依赖Jar列表的OBS路径。
dependency_files
依赖文件列表的OBS路径。
dependency_archives
依赖归档包的OBS路径。
dependency_py_files
依赖Python文件列表的OBS路径。
main_python_file
Py作业主文件的OBS路径。
sql_scripting_file
SQL脚本文件的OBS路径。
- 作业读写的数据路径。 在Sparkjob作业内部的代码中调用,按访问方式分为两种情况:
- SparkJob中直接访问OBS路径:
- 通过外表访问OBS路径: 通过SQL语句访问LakeFormation库表时,引擎会根据表元数据中的Location信息读写对应OBS路径下的数据文件。此处涉及的库表特指外表(External Table),即Location指向用户自定义OBS路径的表。与内表不同,外表的OBS路径权限不会随库表权限自动同步,因此需要单独对Location指向的OBS路径进行授权。
// 读:SELECT会读取 Location下的数据文件 spark.sql("SELECT * FROM lf_catalog.db_name.table_name").show(); // 写:INSERT/INSERT OVERWRITE会写表Location下的数据文件 spark.sql("INSERT INTO lf_catalog.db_name.table_name " + "SELECT id, name FROM src_table").collect(); // 建表(Location指向OBS路径时,该路径同样需要路径授权) spark.sql("CREATE TABLE IF NOT EXISTS lf_catalog.db_name.t2 (id INT, name STRING) " + "USING PARQUET LOCATION 'obs://bucket/db_name/t2'");
注意事项
- 作业日志归档路径、eventlog日志路径和SQL结果路径不受LakeFormation路径权限控制,由对应端点的委托(agency)权限控制。
- SparkJob OBS路径的LakeFormation鉴权与spark.hadoop.fs.obs.security.provider参数配置互斥。该参数取值为com.huawei.spark.provider.JobAgencyCredentialProvider时,表示OBS访问凭证由作业委托直接获取,会绕过LakeFormation的路径鉴权流程。因此,启用LakeFormation OBS路径鉴权时,请勿在端点或作业中配置此参数,否则将导致LakeFormation路径鉴权失效,所有OBS访问将退化为委托权限控制。
授权步骤
- 确认鉴权开关已开启。
Spark Job中用户可自定义是否开启或关闭LakeFormation外表OBS路径鉴权,请确认作业配置中spark.aidatalake.lakeformation.obs.access.grants.enabled的值为"true"。
表1 鉴权开关配置说明 项目
内容
配置项(Key)
spark.aidatalake.lakeformation.obs.access.grants.enabled
取值范围
- true:所有OBS访问由LakeFormation权限控制。
- false:关闭后作业内所有OBS访问由作业委托权限控制,LakeFormation不再统一接管OBS路径权限。
默认值
"true"(默认开启,不配置即生效)。
- 在LakeFormation授权目标OBS路径。
- 登录LakeFormation管理控制台。
- 在左侧下拉框中选择待操作的LakeFormation实例,选择“数据权限 > 数据授权”。
- 单击“创建”,在弹出的窗口中参考下表配置参数后,单击“确定”。
表2 授权配置说明 配置项
说明
主体类型
选择为委托后,在下拉列表中选择目标委托。
授权类型
选择为“路径”后,“路径”填写OBS路径,例如obs://pfs-bucket/dir/subdir。
权限
- READ:读
- WRITE:写(包含读)
关于LakeFormation上的数据授权操作详情,请参见配置LakeFormation元数据权限。