更新时间:2026-01-13 GMT+08:00
分享

DLI使用委托获取访问凭证

在使用DLI执行大数据处理、跨服务数据交互查询时,鉴权认证是保障服务访问合法性、数据安全性的核心前置环节。如果把 AK/SK、用户名/密码直接写在作业代码或参数配置中,会存在明文泄露的安全风险。随着云服务架构的升级与安全要求的不断提升,DLI围绕多样化的服务访问场景与差异化的鉴权协议兼容需求,提出了两种核心鉴权方案:

适用场景

  • 主要用于解决硬编码凭证安全问题。
  • 避免在作业代码中直接写入数据源账号密码等敏感信息。
  • 实现凭证的动态获取和定期轮换。

约束与限制

仅Spark 3.3.1及以上版本、Flink 1.15及以上版本的跨源访问场景推荐使用DEW来存储数据源的认证信息。

SQL作业、Flink 1.12版本的跨源访问场景,使用DLI提供的“跨源认证”管理数据源的访问凭证,具体操作请参考跨源认证概述

不同类型作业使用DEW管理数据源访问凭证的方法

表1 不同作业类型使用DEW的操作指导

类型

操作指导

说明

Flink OpenSource SQL作业

Flink Opensource SQL使用DEW管理访问凭据

介绍Flink Opensource SQL场景使用DEW管理和访问凭据的操作指导,及在Connector中设置账号、密码等属性的操作方法。

Flink Jar作业

Flink Jar 使用DEW获取访问凭证读写OBS

以访问OBS的AKSK为例介绍Flink Jar使用DEW获取访问凭证读写OBS的操作指导。

用户获取Flink作业委托临时凭证

DLI提供了一个通用接口,可用于获取用户在启动Flink作业时设置的委托的临时凭证。该接口将获取到的该作业委托的临时凭证封装到com.huaweicloud.sdk.core.auth.BasicCredentials类中。

本操作介绍获取Flink作业委托临时凭证的操作方法。

Spark Jar作业

Spark Jar 使用DEW获取访问凭证读写OBS

以访问OBS的AKSK为例介绍Spark Jar使用DEW获取访问凭证读写OBS的操作指导。

用户获取Spark作业委托临时凭证

本操作介绍获取Spark Jar作业委托临时凭证的操作方法。

相关文档