文档首页/ MapReduce服务 MRS/ 组件操作指南（LTS版）/ 使用LDMS/ LDMS分组管理
更新时间：2026-06-11 GMT+08:00
查看PDF
分享

LDMS分组管理

在LDMS进行库表注册后，可以对已注册的Hudi表分组进行托管，执行异步Compaction、Clean、Archive运维操作。

本章节指导用户在LDMS进行新增、编辑、删除分组操作。

前提条件

  • 集群已安装LDMS及其所依赖的服务且运行正常。
  • 创建一个具备ldmsadmin或supergroup用户组权限的用户，具体请参考LDMS用户权限管理。
  • 待分组的Hudi表已在LDMS上完成注册。

新增分组

  1. 使用LDMS管理员用户登录FusionInsight Manager，选择“集群 > 服务 > LDMS”，进入LDMS服务页面。
  2. 在概览页签下的“基本信息”区域单击“LDMSServer UI”后的链接，进入LDMSServer UI页面。
  3. 选择“分组管理 > 新增分组”设置分组相关参数。

    • 设置分组信息参数请参考表1。
      表1 LDMS分组信息参数

      参数

      描述

      默认值

      分组名称

      指定作业分组的名称。

      无

      分组类型

      指定作业分组的类型（Hudi表管理）。

      Hudi表管理

      首次调度延时(秒)

      指定首次调度时需要延迟的时间，单位为秒。

      0

      调度周期(秒)

      指定作业的调度周期间隔，单位为秒。

      无
    • 设置资源参数请参考表2。
      表2 LDMS资源参数

      参数

      描述

      默认值

      driver-cores

      指定Spark作业提交的Driver核数。

      2

      driver-memory

      指定Spark作业提交的Driver内存大小。

      2 GB

      executor-cores

      指定Spark作业提交的Executor核数。

      2

      executor-memory

      指定Spark作业提交的Executor内存大小。

      2 GB

      num-executor

      指定Spark作业提交的Executor个数。

      2

      queue

      指定作业提交时使用的资源队列。

      无

      首次新建分组，资源参数显示为空，如果不设置，则系统会以默认值进行设置。

    • 自定义参数：

      如果客户需要在任务中配置更多的自定义参数，则需打开资源参数的自定义开关进行配置，自定义参数的格式为set key1=value1;set key2=value2;set key3=value3.......

      示例： set hoodie.compact.inline = true;set hoodie.compact.inline.max.delta.commits = 2;set hoodie.cleaner.commits.retained = 1;set hoodie.clean.automatic = true;set hoodie.keep.min.commits = 2;set hoodie.keep.max.commits = 3;set hoodie.archive.automatic = true;

  4. 选择数据库，并将需要托管的Hudi表勾选后从未分组数据表移至已分组数据表中。
  5. 单击“确定”完成新增分组。

    新建分组后，分组的“调度状态”从“INIT”到“RUNNING”最终转为“FINISHED”，完成首次调度运行。

管理分组

  1. 使用LDMS管理员用户登录FusionInsight Manager，选择“集群 > 服务 > LDMS”，进入LDMS服务页面。
  2. 在概览页签下的“基本信息”区域单击“LDMSServer UI”后的链接，进入LDMSServer UI页面。

编辑分组

  1. 选择“分组管理”，在对应分组的操作列单击“编辑”，可以修改该分组信息，具体参数请参考3。

删除分组

  1. 选择“分组管理”，在对应分组的操作列单击“删除”，在弹窗中单击“确定”，删除分组。

父主题： 使用LDMS

相关文档