更新时间:2024-08-30 GMT+08:00
分享

使用CDL从PgSQL同步数据到Hudi

操作场景

本章节指导用户通过MRS 3.2.0版本开启Kerberos认证的集群的CDLService WebUI界面,从PgSQL导入数据到Hudi。

前提条件

  • 集群已安装CDL、Hudi服务且运行正常。
  • PgSQL数据库需要开启前置要求,操作步骤请参考PostgreSQL数据库修改预写日志的策略
  • 在FusionInsight Manager中创建一个人机用户,例如“cdluser”,加入用户组cdladmin、hadoop、kafkasupergroup,主组选择“cdladmin”组,关联角色“System_administrator”

操作步骤

  1. 使用cdluser用户登录FusionInsight Manager(首次登录需要修改密码),选择“集群 > 服务 > CDL”,单击“CDLService UI”右侧的超链接,进入CDLService WebUI界面。
  2. 选择“连接管理 > 新增连接”,进入“新增连接”参数配置窗口,参考下表,分别新增“pgsql”、“hudi”连接,相关数据连接参数介绍请参见创建CDL数据库连接

    表1 PgSQL数据连接配置参数

    参数名称

    示例

    Link Type

    pgsql

    Name

    pgsqllink

    Host

    10.10.10.10

    Port

    5432

    DB Name

    testDB

    User

    user

    Password

    user用户密码

    Description

    -

    表2 Hudi数据连接配置参数

    参数名称

    示例

    Link Type

    hudi

    Name

    hudilink

    Storage Type

    hdfs

    Auth KeytabFile

    /opt/Bigdata/third_lib/CDL/user_libs/cdluser.keytab

    Principal

    cdluser

    Description

    xxx

  3. 参数配置完成后,单击“测试连接”,检查数据连通是否正常。

    连接校验通过后,单击“确定”完成数据连接创建。

  4. (可选)选择“ENV管理 > 新建ENV”,进入“新建ENV”参数配置窗口,参考下表进行参数配置。

    表3 新建ENV配置参数

    参数名称

    示例

    Name

    test-env

    Driver Memory

    1GB

    Type

    spark

    Executor Memory

    1GB

    Executor Cores

    1

    Number Executors

    1

    Queue

    -

    Description

    -

    参数配置完成后,单击“确定”创建ENV。

  5. 选择“作业管理 > 数据同步任务 > 新建作业”,在“新建作业”窗口中填写配置。单击“下一步”,进入作业参数配置页面。

    其中:

    参数名称

    示例

    Name

    job_pgtohudi

    Desc

    -

  6. 配置PgSQL作业参数。

    1. 在作业参数配置页面,选取左侧“pgsql”图标拖入右侧编辑区域,然后双击此图标进入PgSQL作业参数配置窗口。参考下表进行参数配置,相关作业参数介绍请参见创建CDL数据同步任务作业
      表4 PgSQL作业参数

      参数名称

      示例

      Link

      pgsqllink

      Tasks Max

      1

      Mode

      insert、update、delete

      dbName Alias

      pgsqldb

      Schema

      pgschema

      Slot Name

      pg_slot

      Enable FailOver Slot

      Slot Drop

      Connect With Hudi

      Use Exist Publication

      Publication Name

      publicationtest

    2. 单击“+”按钮展开更多选项。

      • "Start Time" :同步表起始时间。
      • “WhiteList”:输入数据库中的表。
      • “BlackList”: 输入不抓取数据的数据库中的表。
      • “Topic Table Mapping”:
        • 如果“Connect With Hudi”选择“是”,则该参数为必填项。
        • 第一个框输入表名(例如“test”)。 第二个框输入Topic名(例如“test_topic”,该值与第一个框的表名只能是一对一的关系)。
    3. 单击“确定”,Pgsql作业参数配置完成。

  7. 配置Hudi作业参数。

    1. 在作业参数配置页面,选取左侧Sink区域的“hudi”图标拖入右侧编辑区域,然后双击此图标进入Hudi作业参数配置窗口。参考下表进行参数配置,相关作业参数介绍请参见创建CDL数据同步任务作业
      表5 Sink Hudi作业参数

      参数名称

      示例

      Link

      hudilink

      Path

      /cdl/test

      Interval

      10

      Max Rate Per Partition

      0

      Parallelism

      10

      Target Hive Database

      default

      Hudi表属性配置方式

      可视化视图

      Hudi表属性全局配置

      -

      Hudi表属性配置-Table Name

      test

      Hudi表属性配置-Table Type Opt Key

      COPY_ON_WRITE

      Hudi表属性配置-Hudi TableName Mapping

      -

      Hudi表属性配置-Hive TableName Mapping

      -

      Hudi表属性配置-Table Primarykey Mapping

      id

      Hudi表属性配置-Table Hudi Partition Type

      -

      Hudi表属性配置-Custom Config

      -

    2. (可选)单击“+”按钮展开更多选项,选择已创建的ENV,默认为“defaultEnv”。

    3. 单击“确定”,完成Hudi作业参数配置。

  8. 作业参数配置完成后,拖拽图标将作业进行关联,然后单击“保存”,作业配置完成。

  9. 在“作业管理”的作业列表中,找到创建的作业名称,单击操作列的“启动”,等待作业启动。

    观察数据传输是否生效,例如在PgSQL数据库中对表进行插入数据操作,查看Hudi导入的文件内容。

相关文档