更新时间:2024-11-29 GMT+08:00

CDL任务支持数据加密

操作场景

CDL数据同步过程中,支持数据落盘加密,支持数据加密的数据源包括MySQL、PgSQL、Oracle、ThirdParty-kafka、OpenGauss。

前提条件

  • MRS集群已安装CDL组件和Ranger的RangerKMS实例,并且正常运行。
  • 开启Kerberos认证的集群已参考创建CDL用户创建具有CDL管理操作权限的用户。

操作步骤

  1. 使用admin用户登录FusionInsight Manager,选择“集群 > 服务 > Ranger”。
  2. 在“概览”界面,单击“Ranger WebUI”右侧的超链接,访问Ranger WebUI界面,单击页面右上角,选择“Log out”,退出当前用户。
  3. 使用rangerkmskeyadmin用户重新登录,首次登录需要修改用户密码。

    用户及默认密码请咨询MRS集群管理员。

  4. 创建密钥

    1. 在Ranger WebUI界面,单击“Encryption”,在“Select Service”下拉列表中选择“kmsdev”服务,单击右侧的“Add New Key”创建新的密钥。
    1. 在“Key Name”右侧填写密钥名称,例如“test_key”,其他参数保持默认即可,单击“Save”保存配置。

  5. 配置用户权限。

    1. 在“Access Manager”页面,单击“KMS”区域的“kmsdev”,在页面右上角单击“Add New Policy”添加策略。
    2. 在“Create Policy”页面配置以下参数:
      • “Policy Name”填写策略名称,例如:test_policy。
      • “Key Name”选择4已创建的密钥名称。
      • 在“Allow Conditions”区域的“Select User”列选择Hudi用户、cdlcdl/集群域名用户 ,“Permissions”列单击添加按钮选择“Get Metadata”、“Generate EEK”和“Decrypt EEK”权限。
    3. 单击“Add”添加策略。

  6. 使用具有CDL管理操作权限的用户或admin用户(未开启Kerberos认证的集群)登录FusionInsight Manager,选择“集群 > 服务 > CDL”。
  7. 在“CDLService UI”右侧,单击链接,访问CDLService WebUI,配置CDL任务,详细操作可参考创建CDL作业前准备创建CDL数据同步任务作业

    配置源端作业参数时,需将“Enable Data Encryption”参数值设置为“是”,并设置“Key Name”参数值为加密密钥名称。

  8. 启动相关CDL任务,在源端数据库更新数据,查看Hudi端数据同步正常。
  9. 使用admin用户登录FusionInsight Manager,选择“集群 > 服务 > Kafka > KafkaTopic监控”, 搜索CDL作业“Topic Table Mapping”中配置的“topic name”,查看该Topic配置中包含encryption.eek信息。