更新时间:2026-11-13 GMT+08:00
分享

SparkJob OBS路径鉴权

鉴权说明

SparkJob对接LakeFormation后,作业运行过程中涉及的OBS路径访问均由LakeFormation统一进行权限管控。管控范围包括两大类:

  • 作业资源文件:作业提交时指定的Jar、依赖文件、归档包、Python文件等OBS路径。
  • 作业读写的数据路径:作业代码中读写的数据所在OBS路径,包括以下两种情形:
    • 直接读写OBS路径:在作业代码中通过Spark API直接指定OBS路径进行数据读写。
    • 通过外表访问OBS路径:通过SQL语句访问LakeFormation外表,引擎按表元数据中的Location读写对应OBS路径。

      内表(Managed Table)的数据存储路径由LakeFormation自动管理,授予库表权限后系统会自动同步对应的OBS路径权限,因此无需单独对OBS路径进行授权。

以上两种情形均需在LakeFormation上对作业委托授予对应OBS路径的READ或WRITE权限,未授权时会报OBS 403错误。详情请参见授权步骤和受管控范围。

受管控范围

启用路径鉴权后,SparkJob作业内以下OBS文件读写都由LakeFormation进行精细的访问控制:

  • 作业资源文件:
    作业提交时指定的各类资源文件OBS路径,包括运行Jar、依赖Jar、依赖文件、归档包、Python文件等,在API接口的body体中配置。

    字段

    说明

    main_jar

    运行Jar(主Jar)的OBS路径。

    dependency_jars

    依赖Jar列表的OBS路径。

    dependency_files

    依赖文件列表的OBS路径。

    dependency_archives

    依赖归档包的OBS路径。

    dependency_py_files

    依赖Python文件列表的OBS路径。

    main_python_file

    Py作业主文件的OBS路径。

    sql_scripting_file

    SQL脚本文件的OBS路径。

  • 作业读写的数据路径。
    在Sparkjob作业内部的代码中调用,按访问方式分为两种情况:
    • SparkJob中直接访问OBS路径:
      在作业代码中通过Spark API直接指定OBS路径进行数据读写,不经过库表元数据。
      // 示例:直接访问 OBS 路径-读
      spark.read().parquet("obs://pfs-bucket/dir/parquet_data");
      
      // 示例:直接访问 OBS 路径-写
      df.write().mode("overwrite").parquet("obs://pfs-bucket/dir/output");
    • 通过外表访问OBS路径:
      通过SQL语句访问LakeFormation库表时,引擎会根据表元数据中的Location信息读写对应OBS路径下的数据文件。此处涉及的库表特指外表(External Table),即Location指向用户自定义OBS路径的表。与内表不同,外表的OBS路径权限不会随库表权限自动同步,因此需要单独对Location指向的OBS路径进行授权。
      // 读:SELECT会读取 Location下的数据文件
      spark.sql("SELECT * FROM lf_catalog.db_name.table_name").show();
      
      // 写:INSERT/INSERT OVERWRITE会写表Location下的数据文件
      spark.sql("INSERT INTO lf_catalog.db_name.table_name "
          + "SELECT id, name FROM src_table").collect();
      
      // 建表(Location指向OBS路径时,该路径同样需要路径授权)
      spark.sql("CREATE TABLE IF NOT EXISTS lf_catalog.db_name.t2 (id INT, name STRING) "
          + "USING PARQUET LOCATION 'obs://bucket/db_name/t2'");

注意事项

  • 作业日志归档路径、eventlog日志路径和SQL结果路径不受LakeFormation路径权限控制,由对应端点的委托(agency)权限控制。
  • SparkJob OBS路径的LakeFormation鉴权与spark.hadoop.fs.obs.security.provider参数配置互斥。该参数取值为com.huawei.spark.provider.JobAgencyCredentialProvider时,表示OBS访问凭证由作业委托直接获取,会绕过LakeFormation的路径鉴权流程。因此,启用LakeFormation OBS路径鉴权时,请勿在端点或作业中配置此参数,否则将导致LakeFormation路径鉴权失效,所有OBS访问将退化为委托权限控制。

授权步骤

  1. 确认鉴权开关已开启。

    Spark Job中用户可自定义是否开启或关闭LakeFormation外表OBS路径鉴权,请确认作业配置中spark.aidatalake.lakeformation.obs.access.grants.enabled的值为"true"。

    表1 鉴权开关配置说明

    项目

    内容

    配置项(Key)

    spark.aidatalake.lakeformation.obs.access.grants.enabled

    取值范围

    • true:所有OBS访问由LakeFormation权限控制。
    • false:关闭后作业内所有OBS访问由作业委托权限控制,LakeFormation不再统一接管OBS路径权限。

    默认值

    "true"(默认开启,不配置即生效)。

  2. 在LakeFormation授权目标OBS路径。

    1. 登录LakeFormation管理控制台。
    2. 在左侧下拉框中选择待操作的LakeFormation实例,选择“数据权限 > 数据授权”。
    3. 单击“创建”,在弹出的窗口中参考下表配置参数后,单击“确定”。
      表2 授权配置说明

      配置项

      说明

      主体类型

      选择为委托后,在下拉列表中选择目标委托。

      授权类型

      选择为“路径”后,“路径”填写OBS路径,例如obs://pfs-bucket/dir/subdir。

      权限

      • READ:读
      • WRITE:写(包含读)

    关于LakeFormation上的数据授权操作详情,请参见配置LakeFormation元数据权限。

相关文档