更新时间:2024-08-13 GMT+08:00
分享

配置MRS集群静态资源

当需要控制集群服务可以使用节点资源的情况,或者控制集群服务在不同时间段节点可用配额的CPU与I/O资源时,集群管理员可以在Manager调整资源基数,并自定义资源配置组。

对系统的影响

  • 配置静态服务池后,受影响的服务的配置状态将配置过期,需要重启服务,重启期间服务不可用。
  • 配置静态服务池后,各服务及角色实例使用的最大资源将不能超过限制。

配置静态资源(3.x及之后版本)

修改资源调整基数

  1. 在FusionInsight Manager界面,选择集群 > 静态服务池
  2. 单击右上角“配置”,进入静态资源池配置向导。
  3. 在“系统资源调整基数”分别修改参数“CPU(%)”和“Memory(%)”。

    修改“系统资源调整基数”将限制服务能够使用节点的最大物理CPU和内存资源百分比。如果多个服务部署在同一节点,则所有服务使用的最大物理资源百分比不能超过此参数值。

  4. 单击“下一步”。

    需要重新修改参数,可单击“上一步”返回。

修改资源池默认“default”配置组

  1. 单击“default”,在“权重配置”表格中各服务对应的“CPU LIMIT(%)”、“CPU SHARE(%)”、“I/O(%)”和“Memory(%)”填写各服务的资源使用百分比数量。

    图1 权重配置
    • 所有服务使用的“CPU LIMIT(%)”和 “CPU SHARE(%)”资源配置总和可以大于100%。
    • 所有服务使用的“I/O(%)”资源配置总和可以大于100%,不能为0。
    • 所有服务使用的“Memory(%)”资源配置总和可以小于或等于100%,也可以大于100%。
    • “Memory(%)”不支持动态生效,仅在“default”配置组中可以修改。
    • “CPU LIMIT(%)”用于配置服务可使用的CPU核数与节点可分配的CPU核数占比。
    • “CPU SHARE(%)”用于配置服务在与其他服务使用同一个CPU核的时间占比,即多个服务在使用同一个CPU核发生争抢时的时间占比。

  2. 单击“根据权重配置生成详细配置”,FusionInsight Manager将根据集群硬件资源与分配情况,生成资源池实际参数配置值。
  3. 单击“确定”

    在弹出窗口单击“确定”,确认保存配置。

添加自定义资源配置组

  1. 是否需要在不同时间段自动调整资源配置?

    • 是,执行9
    • 否,只需要使用“default”在所有时间段生效,任务结束。

  2. 单击“配置”,修改“系统资源调整基数”,然后单击“下一步”。
  3. 单击“添加”增加新的资源配置组。

    图2 增加新的资源配置组

  4. 在“第一步:调度时间”,单击“配置”显示时间策略配置页面。

    根据业务需要修改以下参数,并单击“确定”保存:

    • “重复”:勾选时表示此资源配置组按调度周期重复运行。不勾选时请设置一个资源配置组应用的日期与时间。
    • “重复策略”:支持“每天”、“每周”和“每月”。仅在“重复”模式中生效。
    • “在”:表示资源配置组应用的开始与结束时间。请设置一个唯一的时间区间,如果与已有配置组的时间区间有重叠,则无法保存。
    • “default”配置组会在所有未定义的时间段内生效。
    • 新增加的配置组属于动态生效的配置项集合,在配置组应用的时间区间内可直接生效。
    • 新增加的配置组可以被删除。最多增加4个动态生效的配置组。
    • 选择任一种“重复策略”,如果结束时间小于开始时间,默认标识为第二天的结束时间。例如“22:00”到“6:00”表示调度时间为当天22点到第二天6点。
    • 若多个配置组的“重复策略”类型不相同,则时间区间可以重叠,且生效的策略优先级从低到高的顺序为“每天”、“每周”、“每月”。例如,有“每月”与“每天”的调度配置组,时间区间分别为4:00到7:00,6:00到8:00,此时以每月的配置组为准。
    • 若多个配置组的“重复策略”类型相同,当日期不相同时,则时间区间可以重叠。例如,有两个“每周”的调度配置组,可以分别指定时间区间为周一和周三的4:00到7:00。

  5. 在“第二步:权重配置”修改各服务资源配置。
  6. 单击“根据权重配置生成详细配置”,FusionInsight Manager将根据集群硬件资源与分配情况,生成资源池实际参数配置值。
  7. 单击“确定”

    在弹出窗口单击“确定”,确认保存配置。

配置静态资源(2.x及之前版本)

  1. 修改系统资源调整基数。

    1. 在MRS Manager界面,单击“系统设置”,在“资源管理”区域单击“静态服务池”。
    2. 单击“配置”,显示服务池配置组管理页面。
    3. 在“系统资源调整基数”分别修改参数“CPU(%)”和“Memory(%)”。

      修改“系统资源调整基数”将限制Flume、HBase、HDFS、Impala和YARN服务能够使用节点的最大物理CPU和内存资源百分比。如果多个服务部署在同一节点,则所有服务使用的最大物理资源百分比不能超过此参数值。

    4. 单击“下一步”完成编辑。

      需要重新修改参数,可单击页面下方的“上一步”。

  2. 修改服务池默认“default”配置组。

    1. 在“服务池配置”表格中Flume、HBase、HDFS、Impala和YARN服务对应的“CPU LIMIT(%)”、“CPU SHARE(%)”、“I/O(%)”和“Memory(%)”填写各服务的资源使用百分比数量。
    • 所有服务使用的“CPU LIMIT(%)”资源配置总和可以大于100%。
    • 所有服务使用的“CPU SHARE(%)”和“I/O(%)”资源配置总和需为100%。例如为HDFS和Yarn服务分配使用的CPU资源,2个服务分配到的CPU资源总和为100%。
    • 所有服务使用的“Memory(%)”资源配置总和可以小于或等于100%,也可以大于100%。
    • “Memory(%)”不支持动态生效,仅在“default”配置组中可以修改。
    1. 单击页面空白处完成编辑,MRS Manager将根据集群硬件资源与分配情况,在“详细配置”生成服务池参数的正确配置值。
    2. 如果根据业务需要,可以单击“详细配置”右侧的编辑按钮修改服务池的参数值。

      在“服务池配置”单击指定的服务名,“详细配置”将只显示此服务的参数。手工修改参数值并不会刷新服务使用资源的百分比显示。支持动态生效的参数,在新增加的配置组中显示名将包含配置组的编号,例如“HBase : RegionServer : dynamic-config1.RES_CPUSET_PERCENTAGE”,参数作用与“default”配置组中的参数相同。

      表1 静态服务池参数一览

      参数名

      参数描述

      • RES_CPUSET_PERCENTAGE
      • dynamic-configX.RES_CPUSET_PERCENTAGE

      配置服务使用CPU PERCENTAGE。

      • RES_CPU_SHARE
      • dynamic-configX.RES_CPU_SHARE

      配置服务使用CPU share。

      • RES_BLKIO_WEIGHT
      • dynamic-configX.RES_BLKIO_WEIGHT

      配置服务占用I/O的权重。

      HBASE_HEAPSIZE

      配置RegionServer的JVM最大内存。

      HADOOP_HEAPSIZE

      配置DataNode的JVM最大内存。

      yarn.nodemanager.resource.memory-mb

      配置当前节点上NodeManager可使用的内存大小。

      dfs.datanode.max.locked.memory

      配置DataNode用做HDFS缓存的最大内存。

      FLUME_HEAPSIZE

      配置每个flume实例能使用的最大JVM内存。

      IMPALAD_MEM_LIMIT

      配置impalad实例可使用的最大内存。

  3. 添加自定义资源配置组。

    1. 是否需要根据时间自动调整资源配置?

      是,执行3.b

      否,执行4

    2. 单击增加新的资源配置组。在“调度时间”,单击编辑按钮显示时间策略配置页面。

      根据业务需要修改以下参数,并单击“确定”保存:

      • “重复”:当勾选“重复”时表示此资源配置组按调度周期重复运行。不勾选时请设置一个资源配置组应用的日期与时间。
      • “重复策略”:支持“每天”、“每周”和“每月”。仅在“重复”模式中生效。
      • “介于”:表示资源配置组应用的开始与结束时间。请设置一个唯一的时间区间,如果与已有配置组的时间区间有重叠,则无法保存。仅在“重复”模式中生效。
      • “default”配置组会在所有未定义的时间段内生效。
      • 新增加的配置组属于动态生效的配置项集合,在配置组应用的时间区间内可直接生效。
      • 新增加的配置组可以被删除。最多增加4个动态生效的配置组。
      • 选择任一种“重复策略”,如果结束时间小于开始时间,默认标识为第二天的结束时间。例如“22:00”到“6:00”表示调度时间为当天22点到第二天6点。
      • 若多个配置组的“重复策略”类型不相同,则时间区间可以重叠,且生效的策略优先级从低到高的顺序为“每天”、“每周”、“每月”。例如,有“每月”与“每天”的调度配置组,时间区间分别为4:00到7:00,6:00到8:00,此时以每月的配置组为准。
      • 若多个配置组的“重复策略”类型相同,当日期不相同时,则时间区间可以重叠。例如,有两个“每周”的调度配置组,可以分别指定时间区间为周一和周三的4:00到7:00。
    3. 在“服务池配置”修改各服务资源配置,并单击页面空白处完成编辑,然后执行4

      用户可单击“服务池配置”右侧的编辑按钮重新修改参数。如果根据业务需要,在“详细配置”单击编辑按钮,手动更新由系统生成的参数值。

  4. 保存配置。

    单击“保存”,在“保存配置”窗口勾选“重新启动受影响的服务或实例。”,单击是保存并重启相关服务。

    界面提示“操作成功。”,单击“完成”,服务成功启动。

相关文档