更新时间:2023-03-17 GMT+08:00

运行任务时,客户端不可用

问题

当运行任务时,将MR ApplicationMaster或ResourceManager移动为D状态,为什么此时客户端会不可用?

回答

当运行任务时,将MR ApplicationMaster或ResourceManager移动为D状态(不间断睡眠状态)或T状态(停止状态),客户端会等待返回任务运行的状态,由于AM无返回,客户端会一直处于等待状态。

为避免出现上述场景,使用“core-site.xml”中的“ipc.client.rpc.timeout”配置项设置客户端超时时间。

该参数的参数值为毫秒。默认值为0,表示无超时。客户端超时的取值范围可以为0~2147483647毫秒。

  • 如果Hadoop进程已处于D状态,重启该进程所处的节点。
  • “core-site.xml”配置文件在客户端安装路径的conf目录下,例如“/opt/hadoopClient/Yarn/config”。