使用CDL从Hudi同步数据到ClickHouse

本章节指导用户通过MRS 3.2.0版本开启Kerberos认证的集群的CDLService WebUI界面，从Hudi导入数据到ClickHouse。

集群已安装CDL、Hudi和ClickHouse服务且运行正常。
用户需要有操作ClickHouse的权限，相关操作请参见创建ClickHouse角色。
在FusionInsight Manager中创建一个人机用户，例如“cdluser”，该用户需具有ClickHouse管理员权限（相关操作请参见创建ClickHouse角色），并加入用户组cdladmin、hadoop、kafka、supergroup，主组选择“cdladmin”组，关联角色“System_administrator”。
手动创建ClickHouse侧的本地表和分布式表，本地表使用ReplicatedReplacingMergeTree引擎，详细操作请参见ClickHouse客户端使用实践章节。

使用cdluser用户登录FusionInsight Manager（首次登录需要修改密码），选择“集群 > 服务 > CDL”，单击“CDLService UI”右侧的超链接，进入CDLService WebUI界面。

选择“连接管理 > 新增连接”，进入“新增连接”参数配置窗口，参考下表，分别新增“clickhouse”和“hudi”连接，相关数据连接参数介绍请参见创建CDL数据库连接。

表2 Hudi数据连接配置参数
参数名称	示例
Link Type	hudi
Name	hudilink
Storage Type	hdfs
Auth KeytabFile	/opt/Bigdata/third_lib/CDL/user_libs/cdluser.keytab
Principal	cdluser
Description	-

（可选）选择“ENV管理 > 新建ENV”，进入“新建ENV”参数配置窗口，参考下表进行参数配置。

参数配置完成后，单击“确定”创建ENV。

选择“作业管理 > 数据同步任务 > 新建作业”，在“新建作业”窗口中填写配置。单击“下一步”，进入作业参数配置页面。

其中：

参数名称	示例
Name	job_huditock
Desc	-

配置Hudi作业参数。

在作业参数配置页面，选取左侧Source区域的“hudi”图标拖入右侧编辑区域，然后双击此图标进入Hudi作业参数配置窗口。参考下表进行参数配置，相关作业参数介绍请参见创建CDL数据同步任务作业。

表4 Source Hudi作业参数
参数名称	示例
Link	hudilink
Interval	10
Table Info	{"table1":[{"source.database":"db","source.tablename":"tabletest","target.tablename":"default.tabletest"}]} 说明：无需配置Hudi自带的字段，只配置需同步至ClickHouse的业务字段即可。