# SparkJob OBS路径鉴权
#### 鉴权说明
SparkJob对接LakeFormation后，作业运行过程中涉及的OBS路径访问均由LakeFormation统一进行权限管控。管控范围包括两大类：
- **作业资源文件**：作业提交时指定的Jar、依赖文件、归档包、Python文件等OBS路径。
- **作业读写的数据路径** ：作业代码中读写的数据所在OBS路径，包括以下两种情形：
  - **直接读写OBS路径**：在作业代码中通过Spark API直接指定OBS路径进行数据读写。
  
  - **通过外表访问OBS路径** ：通过SQL语句访问LakeFormation外表，引擎按表元数据中的Location读写对应OBS路径。
    ![](https://support.huaweicloud.com/usermanual-aidatalake/public_sys-resources/note_3.0-zh-cn.png)
    内表（Managed Table）的数据存储路径由LakeFormation自动管理，授予库表权限后系统会自动同步对应的OBS路径权限，因此无需单独对OBS路径进行授权。
    
   
以上两种情形均需在LakeFormation上对作业委托授予对应OBS路径的READ或WRITE权限，未授权时会报OBS 403错误。详情请参见[授权步骤]和[受管控范围]。
 #### 受管控范围
启用路径鉴权后，SparkJob作业内以下OBS文件读写都由LakeFormation进行精细的访问控制：
- **作业资源文件** ：
  作业提交时指定的各类资源文件OBS路径，包括运行Jar、依赖Jar、依赖文件、归档包、Python文件等，在API接口的body体中配置。
  
  | 字段                     | 说明                |
  |:---|:---|
  | main_jar             | 运行Jar（主Jar）的OBS路径。 |
  | dependency_jars        | 依赖Jar列表的OBS路径。     |
  | dependency_files     | 依赖文件列表的OBS路径。         |
  | dependency_archives | 依赖归档包的OBS路径。        |
  | dependency_py_files   | 依赖Python文件列表的OBS路径。  |
  | main_python_file        | Py作业主文件的OBS路径。     |
  | sql_scripting_file    | SQL脚本文件的OBS路径。       |
     
  

- **作业读写的数据路径。**
  在Sparkjob作业内部的代码中调用，按访问方式分为两种情况：
  - SparkJob中直接访问OBS路径：
    在作业代码中通过Spark API直接指定OBS路径进行数据读写，不经过库表元数据。
    ```
    // 示例：直接访问 OBS 路径-读
    spark.read().parquet("obs://pfs-bucket/dir/parquet_data");
    // 示例：直接访问 OBS 路径-写
    df.write().mode("overwrite").parquet("obs://pfs-bucket/dir/output");
    ```
    
  
  - 通过外表访问OBS路径：
    通过SQL语句访问LakeFormation库表时，引擎会根据表元数据中的Location信息读写对应OBS路径下的数据文件。此处涉及的库表**特指外表（External Table）** ，即Location指向用户自定义OBS路径的表。与内表不同，外表的OBS路径权限不会随库表权限自动同步，因此需要单独对Location指向的OBS路径进行授权。
    ```
    // 读：SELECT会读取 Location下的数据文件
    spark.sql("SELECT * FROM lf_catalog.db_name.table_name").show();
    // 写：INSERT/INSERT OVERWRITE会写表Location下的数据文件
    spark.sql("INSERT INTO lf_catalog.db_name.table_name "
        + "SELECT id, name FROM src_table").collect();
    // 建表（Location指向OBS路径时，该路径同样需要路径授权）
    spark.sql("CREATE TABLE IF NOT EXISTS lf_catalog.db_name.t2 (id INT, name STRING) "
        + "USING PARQUET LOCATION 'obs://bucket/db_name/t2'");
    ```
    
    
 
#### 注意事项
- 作业日志归档路径、eventlog日志路径和SQL结果路径不受LakeFormation路径权限控制，由对应端点的委托（agency）权限控制。
- SparkJob OBS路径的LakeFormation鉴权与spark.hadoop.fs.obs.security.provider参数配置互斥。该参数取值为com.huawei.spark.provider.JobAgencyCredentialProvider时，表示OBS访问凭证由作业委托直接获取，会绕过LakeFormation的路径鉴权流程。因此，**启用LakeFormation OBS路径鉴权时，请勿在端点或作业中配置此参数**，否则将导致LakeFormation路径鉴权失效，所有OBS访问将退化为委托权限控制。
 
 #### 授权步骤
1. 确认鉴权开关已开启。 
   Spark Job中用户可自定义是否开启或关闭LakeFormation外表OBS路径鉴权，请确认作业配置中spark.aidatalake.lakeformation.obs.access.grants.enabled的值为"true"。
   表1鉴权开关配置说明 
   | 项目        | 内容                                                                                                                                                                                                                                                                                                                                                                           |
   |:---|:---|
   | 配置项（Key） | spark.aidatalake.lakeformation.obs.access.grants.enabled                                                                                                                                                                                                                                                                                                                      |
   | 取值范围     | - true：所有OBS访问由LakeFormation权限控制。  - false：关闭后作业内所有OBS访问由作业委托权限控制，LakeFormation不再统一接管OBS路径权限。   |
   | 默认值      | "true"（默认开启，不配置即生效）。                                                                                                                                                                                                                                                                                                                                                           |
      
   
   
2. 在LakeFormation授权目标OBS路径。 
   1. 登录[LakeFormation管理控制台](https://console.huaweicloud.com/lake-formation/)。
   
   2. 在左侧下拉框中选择待操作的LakeFormation实例，选择"数据权限 \> 数据授权"。
   
   3. 单击"创建"，在弹出的窗口中参考下表配置参数后，单击"确定"。
      表2授权配置说明 
      | 配置项    | 说明                                                                                                                                                                                                                                                                                                    |
      |:---|:---|
      | 主体类型 | 选择为委托后，在下拉列表中选择目标委托。                                                                                                                                                                                                                                                                                 |
      | 授权类型 | 选择为"路径"后，"路径"填写OBS路径，例如obs://pfs-bucket/dir/subdir。                                                                                                                                                                                                                                                   |
      | 权限    | - READ：读  - WRITE：写（包含读）   |
         
      
   
   
   关于LakeFormation上的数据授权操作详情，请参见[配置LakeFormation元数据权限](https://support.huaweicloud.com/usermanual-lakeformation/lakeformation_03_00014.html)。
   
   
 
