DLI使用委托获取访问凭证
在使用DLI执行大数据处理、跨服务数据交互查询时,鉴权认证是保障服务访问合法性、数据安全性的核心前置环节。如果把 AK/SK、用户名/密码直接写在作业代码或参数配置中,会存在明文泄露的安全风险。随着云服务架构的升级与安全要求的不断提升,DLI围绕多样化的服务访问场景与差异化的鉴权协议兼容需求,提出了两种核心鉴权方案:
- (推荐)DLI 委托+获取临时凭证方案
临时安全凭证包括临时AK/SK和SecurityToken,以“动态生成、短期有效、自动失效、无需手动保管”为核心特性,DLI基于委托自动获取临时凭证并完成服务访问,凭证到期后自动失效,从根源上降低了密钥泄露的风险,同时省去了维护密钥的繁琐成本,成为批量自动化处理、高安全等级业务的优选方案。
相关操作指导:
- DLI委托+获取DEW临时凭证方案+DEW获取永久AK/SK方案
DLI委托+获取DEW临时凭证方案+DEW获取永久AK/SK方案,适用于仅支持细粒度授权(Version=1.1)鉴权协议的服务,以及对凭证稳定性要求极高、无需频繁刷新的业务需求,提供了可靠的鉴权支撑。
该方案通过DLI委托+临时凭证获取访问DEW服务的权限,再通过DEW获取永久AK/SK,最终实现对其他云服务的安全访问。
相关操作指导:
适用场景
- 主要用于解决硬编码凭证安全问题。
- 避免在作业代码中直接写入数据源账号密码等敏感信息。
- 实现凭证的动态获取和定期轮换。
约束与限制
仅Spark 3.3.1及以上版本、Flink 1.15及以上版本的跨源访问场景推荐使用DEW来存储数据源的认证信息。
SQL作业、Flink 1.12版本的跨源访问场景,使用DLI提供的“跨源认证”管理数据源的访问凭证,具体操作请参考跨源认证概述。
不同类型作业使用DEW管理数据源访问凭证的方法
|
类型 |
操作指导 |
说明 |
|---|---|---|
|
Flink OpenSource SQL作业 |
介绍Flink Opensource SQL场景使用DEW管理和访问凭据的操作指导,及在Connector中设置账号、密码等属性的操作方法。 |
|
|
Flink Jar作业 |
以访问OBS的AKSK为例介绍Flink Jar使用DEW获取访问凭证读写OBS的操作指导。 |
|
|
DLI提供了一个通用接口,可用于获取用户在启动Flink作业时设置的委托的临时凭证。该接口将获取到的该作业委托的临时凭证封装到com.huaweicloud.sdk.core.auth.BasicCredentials类中。 本操作介绍获取Flink作业委托临时凭证的操作方法。 |
||
|
Spark Jar作业 |
以访问OBS的AKSK为例介绍Spark Jar使用DEW获取访问凭证读写OBS的操作指导。 |
|
|
本操作介绍获取Spark Jar作业委托临时凭证的操作方法。 |