更新时间:2024-08-01 GMT+08:00
分享

配置MapReduce shuffle address

配置场景

当MapReduce shuffle服务启动时,它尝试基于localhost绑定IP。如果需要MapReduce shuffle服务连接特定IP,可以参考该章节进行配置。

配置描述

当需要MapReduce shuffle服务绑定特定IP时,需要在NodeManager实例所在节点的配置文件“mapred-site.xml”中(例如路径为:${BIGDATA_HOME}/FusionInsight_HD_xxx/x_xx_NodeManager/etc/mapred-site.xml)设置如下参数。

表1 参数描述

参数

描述

默认值

mapreduce.shuffle.address

指定地址来运行shuffle服务,格式是IP:PORT,参数的默认值为空。当参数值为空时,将绑定localhost,默认端口为13562。

说明:

如果涉及到的PORT值和配置的mapreduce.shuffle.port值不一样时,mapreduce.shuffle.port将不会生效。

-

相关文档