使用DEW管理数据源访问凭证
使用DLI提交作业读写外部数据源数据时,需要妥善保存数据源的访问凭证确保数据源认证的安全性,便于DLI安全访问数据源。数据加密服务(Data Encryption Workshop, DEW)是一个综合的云上数据加密服务,为您解决数据安全、密钥安全、密钥管理复杂等问题。本节操作介绍使用数据加密服务DEW存储数据源的认证信息的操作步骤。
了解数据加密服务。
在DEW创建通用凭据
- 登录DEW管理控制台
- 选择“凭据管理”,进入“凭据管理”页面。
- 单击“创建凭据”,配置凭据基本信息
- 凭据名称:待创建凭据的名称。本例名称为secretInfo。
- 凭据值:配置RDS实例的用户名和密码。
- 第一行凭据值的键为MySQLUsername,值为RDS实例的用户名。
- 第二行凭据值的键为MySQLPassword,值为RDS实例的密码。
图1 设置凭据值
- 按需完成其他参数的配置后,单击“确定”保存凭据。
了解更多请参考创建通用凭据。
在DLI作业中使用DEW中创建的凭据
以Flink作业为例介绍使用DEW凭据的方法。
参考Flink Opensource SQL使用DEW管理访问凭据的语法格式,在作业中配置凭据信息。
WITH ( 'connector' = 'jdbc', 'url' = 'jdbc:mysql://MySQLAddress:MySQLPort/flink',--其中url中的flink表示MySQL中orders表所在的数据库名 'table-name' = 'orders', 'username' = 'MySQLUsername', -- DEW服务中,名称为secretInfo,且版本号v1的通用凭证,定义凭证值的键MySQLUsername,它的值为用户的敏感信息。 'password' = 'MySQLPassword', -- DEW服务中,名称为secretInfo,且版本号v1的通用凭证,定义凭证值的键MySQLPassword,它的值为用户的敏感信息。 'sink.buffer-flush.max-rows' = '1', 'dew.endpoint'='kms.xxxx.com', --使用的DEW服务所在的endpoint信息 'dew.csms.secretName'='secretInfo', --DEW服务通用凭据的凭据名称 'dew.csms.decrypt.fields'='username,password', --其中username,password字段值,需要利用DEW凭证管理,进行解密替换。 'dew.csms.version'='v1' );
相关操作
了解更多使用DLI委托获取访问凭据的开发指南请参考表1。
类型 |
操作指导 |
说明 |
---|---|---|
FLink作业场景 |
Flink Opensource SQL场景使用DEW管理和访问凭据的操作指导,将Flink作业的输出数据写入到Mysql或DWS时,在connector中设置账号、密码等属性。 |
|
访问OBS的AKSK为例介绍Flink Jar使用DEW获取访问凭证读写OBS的操作指导。 |
||
DLI提供了一个通用接口,可用于获取用户在启动Flink作业时设置的委托的临时凭证。该接口将获取到的该作业委托的临时凭证封装到com.huaweicloud.sdk.core.auth.BasicCredentials类中。 本操作介绍获取Flink作业委托临时凭证的操作方法。 |
||
Spark作业场景 |
访问OBS的AKSK为例介绍Spark Jar使用DEW获取访问凭证读写OBS的操作指导。 |
|
本操作介绍获取Spark Jar作业委托临时凭证的操作方法。 |