更新时间:2022-12-14 GMT+08:00
运行任务时,客户端不可用
问题
当运行任务时,将MR ApplicationMaster或ResourceManager移动为D状态,为什么此时客户端会不可用?
回答
当运行任务时,将MR ApplicationMaster或ResourceManager移动为D状态(不间断睡眠状态)或T状态(停止状态),客户端会等待返回任务运行的状态,由于AM无返回,客户端会一直处于等待状态。
为避免出现上述场景,使用“core-site.xml”中的“ipc.client.rpc.timeout”配置项设置客户端超时时间。
该参数的参数值为毫秒。默认值为0,表示无超时。客户端超时的取值范围可以为0~2147483647毫秒。
- 如果Hadoop进程已处于D状态,重启该进程所处的节点。
- “core-site.xml”配置文件在客户端安装路径的conf目录下,例如“/opt/hadoopClient/Yarn/config”。
父主题: MapReduce常见问题