# 使用CDL从Hudi同步数据到DWS
#### 操作场景
本章节指导用户通过MRS 3.2.0版本开启Kerberos认证的集群的CDLService WebUI界面，从Hudi导入数据到DWS。
#### 前提条件
- 集群已安装CDL、Hudi服务且运行正常。
- DWS数据库需要开启前置要求，操作步骤请参考[DWS数据库前置准备](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24124.html#mrs_01_24124__li109813162413)。
- 在FusionInsight Manager中创建一个人机用户，例如"cdluser"，加入用户组**cdladmin、hadoop、kafka** 、**supergroup**，主组选择"cdladmin"组，关联角色"System_administrator"。
 
#### 操作步骤
1. 使用**cdluser**用户登录FusionInsight Manager（首次登录需要修改密码），选择"集群 \> 服务 \> CDL"，单击"CDLService UI"右侧的超链接，进入CDLService WebUI界面。
2. 选择"连接管理 \> 新增连接"，进入"新增连接"参数配置窗口，参考下表，分别新增"dws"和"hudi"连接，相关数据连接参数介绍请参见[创建CDL数据库连接](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24238.html)。
   
   表1DWS数据连接配置参数 
   | 参数名称        | 示例              |
   |:---|:---|
   | Link Type   | dws             |
   | Name        | dwstest         |
   | Host        | 10.10.10.10     |
   | Port        | 8000            |
   | DB Name     | dwsdb           |
   | User        | dbuser          |
   | Password    | *dbuser* *用户密码* |
   | Description | -               |
      
   表2Hudi数据连接配置参数 
   | 参数名称            | 示例                                                  |
   |:---|:---|
   | Link Type       | hudi                                                |
   | Name            | hudilink                                            |
   | Storage Type    | hdfs                                                |
   | Auth KeytabFile | /opt/Bigdata/third_lib/CDL/user_libs/cdluser.keytab |
   | Principal       | cdluser                                             |
   | Description     | xxx                                                 |
      
   
   
3. 参数配置完成后，单击"测试连接"，检查数据连通是否正常。 
   连接校验通过后，单击"确定"完成数据连接创建。
   
   
4. （可选）选择"ENV管理 \> 新建ENV"，进入"新建ENV"参数配置窗口，参考下表进行参数配置。 
   表3新建ENV配置参数 
   | 参数名称             | 示例       |
   |:---|:---|
   | Name             | test-env |
   | Driver Memory    | 1GB      |
   | Type             | spark    |
   | Executor Memory  | 1GB      |
   | Executor Cores   | 1        |
   | Number Executors | 1        |
   | Queue            | -        |
   | Description      | -        |
      
   参数配置完成后，单击"确定"创建ENV。
   
   
5. 选择"作业管理 \> 数据同步任务 \> 新建作业，在"新建作业"窗口中填写配置。单击"下一步"，进入作业参数配置页面。 
   其中：
   
   | 参数名称 | 示例            |
   |:---|:---|
   | Name | job_huditodws |
   | Desc | -             |
      
   
   
6. 配置Hudi作业参数。 
   1. 在作业参数配置页面，选取左侧Source区域的"hudi"图标拖入右侧编辑区域，然后双击此图标进入Hudi作业参数配置窗口。参考下表进行参数配置，相关作业参数介绍请参见[创建CDL数据同步任务作业](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24239.html)。
      表4Source Hudi作业参数 
      | 参数名称       | 示例                                                                                                       |
      |:---|:---|
      | Link       | hudilink                                                                                                 |
      | Interval   | 10                                                                                                       |
      | Table Info | {"table1":\[{"source.database":"dwsdb","source.tablename":"tabletest","target.tablename":"tabletest"}\]} |
         
      ![](https://support.huaweicloud.com/cmpntguide-lts-mrs/zh-cn_image_0000001676747950.png "点击放大")
      
      ![](https://support.huaweicloud.com/cmpntguide-lts-mrs/public_sys-resources/note_3.0-zh-cn.png)
      - 从Hudi同步数据到DWS任务支持precombine字段与Hudi precombine字段一致的场景。
      
      - DWS表中必须包含precombine字段与主键。
      
      - 默认为Hudi内置字段**_hoodie_event_time** ，如果不使用，需要设置"enable.sink.precombine"参数，例如：
        ![](https://support.huaweicloud.com/cmpntguide-lts-mrs/zh-cn_image_0000001724867005.png "点击放大")
        
        
   
   2. 单击"确定"，Hudi作业参数配置完成。
   
   
   
   
7. 配置DWS作业参数。 
   1. 在作业参数配置页面，选取左侧"dws"图标拖入右侧编辑区域，然后双击此图标进入dws作业参数配置窗口。参考下表进行参数配置，相关作业参数介绍请参见[创建CDL数据同步任务作业](https://support.huaweicloud.com/cmpntguide-lts-mrs/mrs_01_24239.html)。
      表5DWS作业参数 
      | 参数名称          | 示例      |
      |:---|:---|
      | Link          | dwstest |
      | Query Timeout | 180000  |
      | Batch Size    | 10      |
         
      
   
   2. 单击"确定"，完成Hudi作业参数配置。
   
   
   
   
8. 作业参数配置完成后，拖拽图标将作业进行关联，然后单击"保存"，作业配置完成。 
   ![](https://support.huaweicloud.com/cmpntguide-lts-mrs/zh-cn_image_0000001676907646.png "点击放大")
   
   
9. 在"作业管理"的作业列表中，找到创建的作业名称，单击操作列的"启动"，等待作业启动。 
   观察数据传输是否生效，例如在Hudi中对表进行插入数据操作，查看DWS导入的文件内容。