更新时间:2026-06-11 GMT+08:00
分享

快速使用LDMS托管Hudi表

本章节指导用户从零开始使用LDMS管理Hudi表定时执行异步Compaction、Clean、Archive作业。

前提条件

  • 集群已安装LDMS及其所依赖的服务且运行正常。
  • Hive MetaStore中已存在Hudi表且生成了Compaction计划。
  • 创建一个具备ldmsadmin或supergroup用户组权限的用户,具体请参考LDMS用户权限管理

注册数据库表

  1. 使用LDMS管理员用户登录FusionInsight Manager,选择“集群 > 服务 > LDMS”,进入LDMS服务页面。
  2. 在概览页签下的“基本信息”区域单击“LDMSServer UI”后的链接,进入LDMSServer UI界面。
  3. 选择“库表管理 > 表管理 > 库表注册”。

    1. 数据库注册:选择未注册的数据库移动到“待注册数据库”中,单击“注册数据库”。

      如果数据库已注册,则直接单击“注册数据库”,进行下一步。

    2. 数据表注册:在“已注册数据库”中选择数据库。在“未注册数据表”中选择需要注册的数据表并移动到“待注册数据表”中,单击“下一步”。
    3. 单击“提交”。在“表管理”页面即可查看表状态显示“已注册”。

分组管理

库表注册完成后,可以对表进行分组,以方便对同类型的表进行管理。

  1. 在LDMS Web UI页面,选择“分组管理 > 新增分组”。

    1. 填写分组名称,分组类型选择“Hudi表管理”,调度周期选择3600(即每小时调度一次)。
    2. 在资源参数中根据实际情况配置合理的资源以及资源队列。
    3. 选择需要托管的表的数据库,在“未分组数据表”中勾选需要托管的Hudi表并移动到“已分组数据表”中。
    4. 单击确定提交分组。

  2. 在分组管理中即可查看创建的任务分组,观察调度状态会从“INIT > RUNNING > FINISHED”,代表一个周期的Hudi表运维操作执行完成。

相关文档