更新时间:2024-09-27 GMT+08:00

使用DEW管理数据源访问凭证

使用DLI提交作业读写外部数据源数据时,需要妥善保存数据源的访问凭证确保数据源认证的安全性,便于DLI安全访问数据源。数据加密服务(Data Encryption Workshop, DEW)是一个综合的云上数据加密服务,为您解决数据安全、密钥安全、密钥管理复杂等问题。本节操作介绍使用数据加密服务DEW存储数据源的认证信息的操作步骤。

了解数据加密服务

在DEW创建通用凭据

本例以配置RDS实例访问凭据为例,介绍在DEW保存凭据,并在DLI作业中的配置示例。
  1. 登录DEW管理控制台
  2. 选择“凭据管理”,进入“凭据管理”页面。
  3. 单击“创建凭据”,配置凭据基本信息
    • 凭据名称:待创建凭据的名称。本例名称为secretInfo。
    • 凭据值:配置RDS实例的用户名和密码。
      • 第一行凭据值的键为MySQLUsername,值为RDS实例的用户名。
      • 第二行凭据值的键为MySQLPassword,值为RDS实例的密码。
      图1 设置凭据值
  4. 按需完成其他参数的配置后,单击“确定”保存凭据。

在DLI作业中使用DEW中创建的凭据

以Flink作业为例介绍使用DEW凭据的方法。

WITH (  
 'connector' = 'jdbc',  
 'url' = 'jdbc:mysql://MySQLAddress:MySQLPort/flink',--其中url中的flink表示MySQL中orders表所在的数据库名  
 'table-name' = 'orders',  
 'username' = 'MySQLUsername',  -- DEW服务中,名称为secretInfo,且版本号v1的通用凭证,定义凭证值的键MySQLUsername,它的值为用户的敏感信息。
 'password' = 'MySQLPassword',  -- DEW服务中,名称为secretInfo,且版本号v1的通用凭证,定义凭证值的键MySQLPassword,它的值为用户的敏感信息。
 'sink.buffer-flush.max-rows' = '1',
 'dew.endpoint'='kms.xxxx.com', --使用的DEW服务所在的endpoint信息
 'dew.csms.secretName'='secretInfo', --DEW服务通用凭据的凭据名称
 'dew.csms.decrypt.fields'='username,password', --其中username,password字段值,需要利用DEW凭证管理,进行解密替换。
 'dew.csms.version'='v1'
);

相关操作

了解更多使用DLI委托获取访问凭据的开发指南请参考表1

表1 DLI委托权限配置场景开发指南

类型

操作指导

说明

FLink作业场景

Flink Opensource SQL使用DEW管理访问凭据

Flink Opensource SQL场景使用DEW管理和访问凭据的操作指导,将Flink作业的输出数据写入到Mysql或DWS时,在connector中设置账号、密码等属性。

Flink Jar 使用DEW获取访问凭证读写OBS

访问OBS的AKSK为例介绍Flink Jar使用DEW获取访问凭证读写OBS的操作指导。

用户获取Flink作业委托临时凭证

DLI提供了一个通用接口,可用于获取用户在启动Flink作业时设置的委托的临时凭证。该接口将获取到的该作业委托的临时凭证封装到com.huaweicloud.sdk.core.auth.BasicCredentials类中。

本操作介绍获取Flink作业委托临时凭证的操作方法。

Spark作业场景

Spark Jar 使用DEW获取访问凭证读写OBS

访问OBS的AKSK为例介绍Spark Jar使用DEW获取访问凭证读写OBS的操作指导。

用户获取Spark作业委托临时凭证

本操作介绍获取Spark Jar作业委托临时凭证的操作方法。