更新时间:2024-07-24 GMT+08:00

配置NodeManager角色实例使用的资源

操作场景

如果部署NodeManager的各个节点硬件资源(如CPU核数、内存总量)不一样,而NodeManager可用硬件资源设置为相同的值,可能造成性能浪费或状态异常,需要修改各个NodeManager角色实例的配置,使硬件资源得到充分利用。

对系统的影响

保存新的配置需要重启NodeManager角色实例,此时对应的角色实例不可用。

操作步骤

MRS 3.x之前的版本集群执行以下操作:

  1. 登录MRS控制台,选择“现有集群”,单击集群名称。选择“组件管理 > Yarn > 实例”。
  2. 单击“角色”列“NodeManager”角色实例名称,并切换到“实例配置”。单击“基础配置”下拉菜单,选择“全部配置”,在搜索框中输入以下参数。
  3. “yarn.nodemanager.resource.cpu-vcores”设置当前节点上NodeManager可使用的虚拟CPU核数,建议按节点实际逻辑核数的1.5到2倍配置。“yarn.nodemanager.resource.memory-mb”设置当前节点上NodeManager可使用的物理内存大小,建议按节点实际物理内存大小的75%~90%配置。

    “yarn.scheduler.maximum-allocation-vcores”可配置单个Container最多CPU可用核数,“yarn.scheduler.maximum-allocation-mb”可配置单个Container最大内存可用值。不支持实例级别的修改,需要在Yarn服务的配置中修改参数值,并重启Yarn服务。

  4. 单击“保存配置”,勾选“重新启动受影响的服务或实例”,单击“确定”。重启NodeManager角色实例。

    界面提示“操作成功。”,单击“完成”,NodeManager角色实例成功启动。

MRS 3.x及后续版本集群也可执行以下操作:

  1. 登录FusionInsight Manager,选择“集群 > 待操作集群的名称 > 服务 > Yarn > 实例”。
  2. 单击部署NodeManager节点对应角色实例名称,并切换到“实例配置”,选择“全部配置”。
  3. “yarn.nodemanager.resource.cpu-vcores”设置当前节点上NodeManager可使用的虚拟CPU核数,建议按节点实际逻辑核数的1.5到2倍配置。“yarn.nodemanager.resource.memory-mb”设置当前节点上NodeManager可使用的物理内存大小,建议按节点实际物理内存大小的75%配置。

    “yarn.scheduler.maximum-allocation-vcores”可配置单个Container最多CPU可用核数,“yarn.scheduler.maximum-allocation-mb”可配置单个Container最大内存可用值。不支持实例级别的修改,需要在Yarn服务的配置中修改参数值,并重启Yarn服务。

  4. 单击“保存”,单击“确定”。重启NodeManager角色实例。

    界面提示“操作成功”,单击“完成”,NodeManager角色实例成功启动。