使用DEW管理数据源访问凭证方法概述
在DLI提交Flink或Spark作业访问外部数据源(OBS、Kafka 等)时,如果把 AK/SK、用户名/密码直接写在作业代码或参数配置中,会存在明文泄露的安全风险。
为了妥善保存数据源的访问凭证,确保数据源认证的安全性,同时便于DLI安全访问数据源,推荐您使用数据加密服务(Data Encryption Workshop, DEW)管理数据源访问凭证,由DLI通过“委托+临时凭证”的方式安全获取数据源的访问凭据。
数据加密服务(Data Encryption Workshop, DEW)是一个综合的云上数据加密服务,为您解决数据安全、密钥安全、密钥管理复杂等问题。
本节操作介绍不同作业类型使用数据加密服务DEW存储数据源的认证信息的操作方法。
了解数据加密服务。
约束与限制
仅Spark 3.3.1及以上版本、Flink 1.15及以上版本的跨源访问场景推荐使用数据加密服务DEW来存储数据源的认证信息。
SQL作业、Flink 1.12版本的跨源访问场景,使用DLI提供的“跨源认证”管理数据源的访问凭证,具体操作请参考使用DLI的跨源认证管理数据源访问凭证。
不同类型作业使用DEW管理数据源访问凭证的方法
类型 |
操作指导 |
说明 |
---|---|---|
Flink OpenSource SQL作业 |
介绍Flink Opensource SQL场景使用DEW管理和访问凭据的操作指导,及在Connector中设置账号、密码等属性的操作方法。 |
|
Flink Jar作业 |
以访问OBS的AKSK为例介绍Flink Jar使用DEW获取访问凭证读写OBS的操作指导。 |
|
DLI提供了一个通用接口,可用于获取用户在启动Flink作业时设置的委托的临时凭证。该接口将获取到的该作业委托的临时凭证封装到com.huaweicloud.sdk.core.auth.BasicCredentials类中。 本操作介绍获取Flink作业委托临时凭证的操作方法。 |
||
Spark Jar作业 |
以访问OBS的AKSK为例介绍Spark Jar使用DEW获取访问凭证读写OBS的操作指导。 |
|
本操作介绍获取Spark Jar作业委托临时凭证的操作方法。 |