文档首页/ MapReduce服务 MRS/ 常见问题/ 性能优化类/ 如何调整MRS集群manager-executor进程内存?
更新时间:2024-11-22 GMT+08:00
分享

如何调整MRS集群manager-executor进程内存?

问题现象

MRS服务在集群的Master1和Master2节点上部署了manager-executor进程,该进程主要用于将管控面对集群的操作进行封装,比如作业的提交、心跳上报、部分告警信息上报、集群创扩缩等操作。当客户从MRS管控面提交作业,随着任务量的增大或者任务并发较高,有可能会导致Executor内存不足,导致占用CPU较高、Executor进程OOM等问题。

解决步骤

  1. 通过root用户登录Master1或Master2其中任意一节点,执行以下命令切换到omm用户。

    su - omm

  2. 执行以下命令,修改“catalina.sh”脚本,搜索“JAVA_OPTS” ,找到类似如下的配置JAVA_OPTS=“-Xms1024m -Xmx4096m”,将其修改为需要的值大小,保存修改。

    vim /opt/executor/bin/catalina.sh

  3. 重启manager-executor进程,该进程在Master1和Master2节点上为主备部署,同一时刻只有一个节点上运行该进程,首先确认节点上是否有该进程,如果有该进程则进行重启操作。
    1. 分别登录Master1节点和Master2节点,执行以下命令确认当前节点是否存在该进程。当有输出时则进程存在。

      ps -ef | grep "/opt/executor" | grep -v grep

    2. 重启命令如下。

      sh /opt/executor/bin/shutdown.sh

      sh /opt/executor/bin/startup.sh

相关文档