更新时间:2024-11-29 GMT+08:00
CDL任务支持数据加密
操作场景
CDL数据同步过程中,支持数据落盘加密,支持数据加密的数据源包括MySQL、PgSQL、Oracle、ThirdParty-kafka、OpenGauss。
前提条件
- MRS集群已安装CDL组件和Ranger的RangerKMS实例,并且正常运行。
- 开启Kerberos认证的集群已参考创建CDL用户创建具有CDL管理操作权限的用户。
操作步骤
- 使用admin用户登录FusionInsight Manager,选择“集群 > 服务 > Ranger”。
- 在“概览”界面,单击“Ranger WebUI”右侧的超链接,访问Ranger WebUI界面,单击页面右上角,选择“Log out”,退出当前用户。
- 使用rangerkms或keyadmin用户重新登录,首次登录需要修改用户密码。
用户及默认密码请咨询MRS集群管理员。
- 创建密钥。
- 在Ranger WebUI界面,单击“Encryption”,在“Select Service”下拉列表中选择“kmsdev”服务,单击右侧的“Add New Key”创建新的密钥。
- 在“Key Name”右侧填写密钥名称,例如“test_key”,其他参数保持默认即可,单击“Save”保存配置。
- 配置用户权限。
- 在“Access Manager”页面,单击“KMS”区域的“kmsdev”,在页面右上角单击“Add New Policy”添加策略。
- 在“Create Policy”页面配置以下参数:
- “Policy Name”填写策略名称,例如:test_policy。
- “Key Name”选择4已创建的密钥名称。
- 在“Allow Conditions”区域的“Select User”列选择Hudi用户、cdl、cdl/集群域名用户 ,“Permissions”列单击添加按钮选择“Get Metadata”、“Generate EEK”和“Decrypt EEK”权限。
- 单击“Add”添加策略。
- 使用具有CDL管理操作权限的用户或admin用户(未开启Kerberos认证的集群)登录FusionInsight Manager,选择“集群 > 服务 > CDL”。
- 在“CDLService UI”右侧,单击链接,访问CDLService WebUI,配置CDL任务,详细操作可参考创建CDL作业前准备和创建CDL数据同步任务作业。
配置源端作业参数时,需将“Enable Data Encryption”参数值设置为“是”,并设置“Key Name”参数值为加密密钥名称。
- 启动相关CDL任务,在源端数据库更新数据,查看Hudi端数据同步正常。
- 使用admin用户登录FusionInsight Manager,选择“集群 > 服务 > Kafka > KafkaTopic监控”, 搜索CDL作业“Topic Table Mapping”中配置的“topic name”,查看该Topic配置中包含encryption.eek信息。
父主题: 使用CDL