配置NodeManager角色实例使用的资源
操作场景
如果部署NodeManager的各个节点硬件资源(如CPU核数、内存总量)不一样,而NodeManager可用硬件资源设置为相同的值,可能造成性能浪费或状态异常,需要修改各个NodeManager角色实例的配置,使硬件资源得到充分利用。
对系统的影响
保存新的配置需要重启NodeManager角色实例,此时对应的角色实例不可用。
操作步骤
MRS 3.x之前的版本集群执行以下操作:
- 登录MRS控制台,选择“现有集群”,单击集群名称。选择“组件管理 > Yarn > 实例”。
- 单击“角色”列“NodeManager”角色实例名称,并切换到“实例配置”。单击“基础配置”下拉菜单,选择“全部配置”,在搜索框中输入以下参数。
- “yarn.nodemanager.resource.cpu-vcores”设置当前节点上NodeManager可使用的虚拟CPU核数,建议按节点实际逻辑核数的1.5到2倍配置。“yarn.nodemanager.resource.memory-mb”设置当前节点上NodeManager可使用的物理内存大小,建议按节点实际物理内存大小的75%~90%配置。
“yarn.scheduler.maximum-allocation-vcores”可配置单个Container最多CPU可用核数,“yarn.scheduler.maximum-allocation-mb”可配置单个Container最大内存可用值。不支持实例级别的修改,需要在Yarn服务的配置中修改参数值,并重启Yarn服务。
- 单击“保存配置”,勾选“重新启动受影响的服务或实例”,单击“确定”。重启NodeManager角色实例。
界面提示“操作成功。”,单击“完成”,NodeManager角色实例成功启动。
MRS 3.x及后续版本集群也可执行以下操作:
- 登录FusionInsight Manager,选择“集群 > 待操作集群的名称 > 服务 > Yarn > 实例”。
- 单击部署NodeManager节点对应角色实例名称,并切换到“实例配置”,选择“全部配置”。
- “yarn.nodemanager.resource.cpu-vcores”设置当前节点上NodeManager可使用的虚拟CPU核数,建议按节点实际逻辑核数的1.5到2倍配置。“yarn.nodemanager.resource.memory-mb”设置当前节点上NodeManager可使用的物理内存大小,建议按节点实际物理内存大小的75%配置。
“yarn.scheduler.maximum-allocation-vcores”可配置单个Container最多CPU可用核数,“yarn.scheduler.maximum-allocation-mb”可配置单个Container最大内存可用值。不支持实例级别的修改,需要在Yarn服务的配置中修改参数值,并重启Yarn服务。
- 单击“保存”,单击“确定”。重启NodeManager角色实例。
界面提示“操作成功”,单击“完成”,NodeManager角色实例成功启动。