更新时间:2025-07-21 GMT+08:00
分享

使用DEW管理数据源访问凭证方法概述

在DLI提交Flink或Spark作业访问外部数据源(OBS、Kafka 等)时,如果把 AK/SK、用户名/密码直接写在作业代码或参数配置中,会存在明文泄露的安全风险。

为了妥善保存数据源的访问凭证,确保数据源认证的安全性,同时便于DLI安全访问数据源,推荐您使用数据加密服务(Data Encryption Workshop, DEW)管理数据源访问凭证,由DLI通过“委托+临时凭证”的方式安全获取数据源的访问凭据。

数据加密服务(Data Encryption Workshop, DEW)是一个综合的云上数据加密服务,为您解决数据安全、密钥安全、密钥管理复杂等问题。

本节操作介绍不同作业类型使用数据加密服务DEW存储数据源的认证信息的操作方法。

了解数据加密服务

约束与限制

仅Spark 3.3.1及以上版本、Flink 1.15及以上版本的跨源访问场景推荐使用数据加密服务DEW来存储数据源的认证信息。

SQL作业、Flink 1.12版本的跨源访问场景,使用DLI提供的“跨源认证”管理数据源的访问凭证,具体操作请参考使用DLI的跨源认证管理数据源访问凭证

不同类型作业使用DEW管理数据源访问凭证的方法

表1 不同作业类型使用DEW的操作指导

类型

操作指导

说明

Flink OpenSource SQL作业

Flink Opensource SQL使用DEW管理访问凭据

介绍Flink Opensource SQL场景使用DEW管理和访问凭据的操作指导,及在Connector中设置账号、密码等属性的操作方法。

Flink Jar作业

Flink Jar 使用DEW获取访问凭证读写OBS

以访问OBS的AKSK为例介绍Flink Jar使用DEW获取访问凭证读写OBS的操作指导。

用户获取Flink作业委托临时凭证

DLI提供了一个通用接口,可用于获取用户在启动Flink作业时设置的委托的临时凭证。该接口将获取到的该作业委托的临时凭证封装到com.huaweicloud.sdk.core.auth.BasicCredentials类中。

本操作介绍获取Flink作业委托临时凭证的操作方法。

Spark Jar作业

Spark Jar 使用DEW获取访问凭证读写OBS

以访问OBS的AKSK为例介绍Spark Jar使用DEW获取访问凭证读写OBS的操作指导。

用户获取Spark作业委托临时凭证

本操作介绍获取Spark Jar作业委托临时凭证的操作方法。

相关文档