文档首页/ MapReduce服务 MRS/ 常见问题/ 性能优化类/ 如何提高Presto资源使用率?
更新时间:2024-12-06 GMT+08:00

如何提高Presto资源使用率?

问题现象

节点资源利用不均衡,执行Presto任务几小时后仍未完成。

解决步骤

  1. 调小Yarn节点内存比例:
    1. 登录Manager页面,选择“集群 > 服务 > Presto > 实例”,查看并记录所有Presto实例所在节点主机名称。
    2. 选择“集群 > 服务 > Yarn > 实例”,单击NodeManger实例名(仅需修改与Presto实例在同一节点的NodeManger实例),选择“实例配置 > 全部配置”搜索参数“yarn.nodemanager.resource.memory-mb”,并适当调小该参数值。单击“保存”,保存配置。
    3. 选择“实例”,勾选配置过期实例,选择“更多 > 滚动重启实例”,重启配置过期实例。
      • yarn.nodemanager.resource.memory-mb表示该节点上Yarn可使用的物理内存总量,在高负载情况下会与Presto互相挤占可用内存空间,请根据业务实际情况调小。
      • Yarn滚动重启过程中,在Yarn上运行的任务可能会因为重试次数过多导致业务异常,请在业务空闲期间重启服务。
  2. 调大Presto Work的xmx参数值。

    登录Manager页面,选择“集群 > 服务 > Presto > 配置 > 全部配置”,搜索参数“JAVA_OPTS”,配置Presto Work下“JAVA_OPTS”参数的xmx值,请根据业务实际情况调大。单击“保存”,保存配置,重启Presto服务。

    Presto重启会导致服务不可用,请在业务空闲期间重启服务。