更新时间:2024-12-06 GMT+08:00
如何提高Presto资源使用率?
问题现象
节点资源利用不均衡,执行Presto任务几小时后仍未完成。
解决步骤
- 调小Yarn节点内存比例:
- 登录Manager页面,选择“集群 > 服务 > Presto > 实例”,查看并记录所有Presto实例所在节点主机名称。
- 选择“集群 > 服务 > Yarn > 实例”,单击NodeManger实例名(仅需修改与Presto实例在同一节点的NodeManger实例),选择“实例配置 > 全部配置”搜索参数“yarn.nodemanager.resource.memory-mb”,并适当调小该参数值。单击“保存”,保存配置。
- 选择“实例”,勾选配置过期实例,选择“更多 > 滚动重启实例”,重启配置过期实例。
- yarn.nodemanager.resource.memory-mb表示该节点上Yarn可使用的物理内存总量,在高负载情况下会与Presto互相挤占可用内存空间,请根据业务实际情况调小。
- Yarn滚动重启过程中,在Yarn上运行的任务可能会因为重试次数过多导致业务异常,请在业务空闲期间重启服务。
- 调大Presto Work的xmx参数值。
登录Manager页面,选择“集群 > 服务 > Presto > 配置 > 全部配置”,搜索参数“JAVA_OPTS”,配置Presto Work下“JAVA_OPTS”参数的xmx值,请根据业务实际情况调大。单击“保存”,保存配置,重启Presto服务。
Presto重启会导致服务不可用,请在业务空闲期间重启服务。
父主题: 性能优化类