文档首页/ MapReduce服务 MRS/ 故障排除/ Web页面访问类/ 访问MRS组件Web UI界面常见异常问题/ 【Spark WebUI】为什么从Yarn Web UI页面无法跳转到Spark WebUI界面
更新时间:2023-11-10 GMT+08:00
分享

【Spark WebUI】为什么从Yarn Web UI页面无法跳转到Spark WebUI界面

用户问题

在客户端采用yarn-client模式运行Spark应用,然后从Yarn的页面打开该应用的Web UI界面,出现下面的错误:

从Yarn ResourceManager的日志看到:
2021-07-21 16:35:27,099 | INFO  | Socket Reader #1 for port xxx | Auth successful for mapred/hadoop.<系统域名>@<系统域名> (auth:KERBEROS) | Server.java:1388
2021-07-21 16:35:27,105 | INFO  | abc6016381123-1178290888-1015 | admin is accessing unchecked http://10.120.169.53:23011 which is the app master GUI of 
application_1468986660719_0045 owned by spark | WebAppProxyServlet.java:393
2021-07-21 16:36:02,843 | INFO  | Socket Reader #1 for port xxx | Auth successful for hive/hadoop.<系统域名>@<系统域名> (auth:KERBEROS) | Server.java:1388
2021-07-21 16:36:02,851 | INFO  | Socket Reader #1 for port xx | Auth successful for hive/hadoop.<系统域名>@<系统域名> (auth:KERBEROS) | Server.java:1388
2021-07-21 16:36:12,163 | WARN  | abc6016381123-1178290888-1015 | /proxy/application_1468986660719_0045/: java.net.ConnectException: Connection timed out | 
Slf4jLog.java:76
2021-07-21 16:37:03,918 | INFO  | Socket Reader #1 for port xxx | Auth successful for hive/hadoop.<系统域名>@<系统域名> (auth:KERBEROS) | Server.java:1388
2021-07-21 16:37:03,926 | INFO  | Socket Reader #1 for port xxx | Auth successful for hive/hadoop.<系统域名>@<系统域名> (auth:KERBEROS) | Server.java:1388
2021-07-21 16:37:11,956 | INFO  | AsyncDispatcher event handler | Updating application attempt appattempt_1468986660719_0045_000001 with final state: FINISHING, 
and exit status: -1000 | RMAppAttemptImpl.java:1253

原因分析

打开FusionInsight Manager页面,看到Yarn服务的业务IP地址为192网段。

从Yarn的日志看到,Yarn读取的Spark Web UI地址为http://10.10.169.53:23011,是10网段的IP地址。由于192网段的IP和10网段的IP不能互通,所以导致访问Spark Web UI界面失败。

处理步骤

  1. 登录10.10.169.53客户端机器。
  2. 修改“/etc/hosts”文件,将10.120.169.53更改为相对应的192网段的IP地址。
  3. 修改再重新运行Spark应用,这时就可以打开Spark Web UI界面。

相关文档