从MySQL同步数据到Hudi

操作场景

本章节指导用户通过开启Kerberos认证的集群的CDLService WebUI界面从MySQL导入数据到Hudi。

前提条件

• 集群已安装CDL和Hudi服务且运行正常。
• MySQL数据库需要开启前置要求，操作步骤请参考MySQL数据库开启前置要求。
• 在FusionInsight Manager中创建一个人机用户，例如“cdluser”，加入用户组cdladmin、hadoop、kafka、supergroup，主组选择“cdladmin”组，关联角色“System_administrator”。

操作步骤

1. 使用cdluser用户登录FusionInsight Manager（首次登录需要修改密码），选择“集群 > 服务 > CDL”，单击“CDLService UI”右侧的超链接，进入CDLService WebUI界面。
2. 选择“驱动管理 > 上传驱动”，上传MySQL数据库驱动文件“mysql-connector-java-8.0.24.jar”，具体步骤请参考上传驱动文件章节。
3. 选择“连接管理 > 新增连接”，进入“新增连接”参数配置窗口，参考下表，分别新增“mysql”和“hudi”连接，相关数据连接参数介绍请参见创建数据库连接。

   表1 MySQL数据连接配置参数

   参数名称	示例
   Link Type	mysql
   Name	mysqllink
   DB driver	mysql-connector-java-8.0.24.jar
   Host	10.10.10.10
   Port	3306
   User	dbuser
   Password	dbuser用户密码
   Description	-

   表2 Hudi数据连接配置参数

   参数名称	示例
   Link Type	hudi
   Name	hudilink
   Storage Type	hdfs
   Auth KeytabFile	/opt/Bigdata/third_lib/CDL/user_libs/cdluser.keytab
   Principal	cdluser
   Description	-

4. 参数配置完成后，单击“测试连接”，检查数据连通是否正常。

   连接校验通过后，单击“确定”完成数据连接创建。

5. （可选）选择“ENV管理 > 新建ENV”，进入“新建ENV”参数配置窗口，参考下表进行参数配置。

   表3 新建ENV配置参数

   参数名称	示例
   Name	test-env
   Driver Memory	1GB
   Type	spark
   Executor Memory	1GB
   Executor Cores	1
   Number Executors	1
   Queue	-
   Description	-

   参数配置完成后，单击“确定”创建ENV。

6. 选择“作业管理 > 数据同步任务 > 新建作业”，在“新建作业”窗口中填写配置。单击“下一步”，进入作业参数配置页面。
   其中：

   参数名称	示例
   Name	job_mysqltohudi
   Desc	-

7. 配置MySQL作业参数。
   1. 在作业参数配置页面，选取左侧“mysql”图标拖入右侧编辑区域，然后双击此图标进入MySQL作业参数配置窗口。参考下表进行参数配置，相关作业参数介绍请参见创建CDL数据同步任务作业。

      表4 MySQL作业参数

      参数名称	示例
      Link	mysqllink
      Tasks Max	1
      Mode	insert、update、delete
      DB Name	MYSQLDBA
      Schema Auto Create	是
      Connect With Hudi	是

   2. 单击“+”按钮展开更多选项。

      

      

      • "DBZ Snapshot Locking Mode"：任务启动执行快照时的锁模式，“none”为无锁模式。
      • "WhiteList”：输入待接收数据的数据库中的表（如myclass）。
      • "Blacklist"：输入不需要抓取数据的数据库中的表。
      • “Multi Partition”: 是否开启Kafka分区。
      • “Topic Table Mapping”：
        • 若“Connect With Hudi”选择“是”，则该参数为必填项。
        • 第一个框输入表名（例如“test”）。 第二个框输入Topic名（例如“test_topic”，该值与第一个框的表名只能是一对一的关系）。第三个框输入数据过滤时间，用于过滤源端数据。
   3. 单击“确定”，MySQL作业参数配置完成。

8. 配置Hudi作业参数。
   1. 在作业参数配置页面，选取左侧Sink区域的“hudi”图标拖入右侧编辑区域，然后双击此图标进入Hudi作业参数配置窗口。参考下表进行参数配置，相关作业参数介绍请参见创建CDL数据同步任务作业。

      表5 Sink Hudi作业参数

      参数名称	示例
      Link	hudilink
      Path	/cdl/test
      Interval	10
      Max Rate Per Partition	0
      Parallelism	10
      Target Hive Database	default
      Hudi表属性配置方式	可视化视图
      Hudi表属性全局配置	-
      Hudi表属性配置-Table Name	test
      Hudi表属性配置-Table Type Opt Key	COPY_ON_WRITE
      Hudi表属性配置-Hudi TableName Mapping	-
      Hudi表属性配置-Hive TableName Mapping	-
      Hudi表属性配置-Table Primarykey Mapping	id
      Hudi表属性配置-Table Hudi Partition Type	-
      Hudi表属性配置-Custom Config	-
      Execution Env	Execution Env

      

   2. 单击“确定”，完成Hudi作业参数配置。

9. 作业参数配置完成后，拖拽图标将作业进行关联，然后单击“保存”，作业配置完成。

   

10. 在“作业管理”的作业列表中，找到创建的作业名称，单击操作列的“启动”，等待作业启动。

    观察数据传输是否生效，例如在MySQL数据库中对表进行插入数据操作，查看Hudi导入的文件内容。