如何提高Presto资源使用率?
问题现象
节点资源利用不均衡,执行Presto任务几小时后仍未完成。
解决步骤
- 调整Yarn节点内存比例:
登录Manager页面,选择“集群 > 服务 > Yarn > 配置 > 全部配置”,搜索参数“yarn.nodemanager.resource.memory-mb”,并适当调小该参数值。
yarn.nodemanager.resource.memory-mb表示该节点上Yarn可使用的物理内存总量,在高负载情况下会与Presto互相挤占可用内存空间,请根据业务实际情况调小。
- 调整Presto Work的xmx参数值。
登录Manager页面,选择“集群 > 服务 > Presto > 配置 > 全部配置”,搜索参数“JAVA_OPTS”,配置Presto Work下“JAVA_OPTS”参数的xmx值,请根据业务实际情况调大。