文档首页/ MapReduce服务 MRS/ 故障排除/ Web页面访问类/ 访问MRS组件Web UI界面常见异常问题/ 【Spark WebUI】为什么从Yarn Web UI页面无法跳转到Spark WebUI界面
更新时间：2023-11-10 GMT+08:00
查看PDF
分享

【Spark WebUI】为什么从Yarn Web UI页面无法跳转到Spark WebUI界面

用户问题

在客户端采用yarn-client模式运行Spark应用，然后从Yarn的页面打开该应用的Web UI界面，出现下面的错误：

从Yarn ResourceManager的日志看到： 
2021-07-21 16:35:27,099 | INFO  | Socket Reader #1 for port xxx | Auth successful for mapred/hadoop.<系统域名>@<系统域名> (auth:KERBEROS) | Server.java:1388
2021-07-21 16:35:27,105 | INFO  | abc6016381123-1178290888-1015 | admin is accessing unchecked http://10.120.169.53:23011 which is the app master GUI of 
application_1468986660719_0045 owned by spark | WebAppProxyServlet.java:393
2021-07-21 16:36:02,843 | INFO  | Socket Reader #1 for port xxx | Auth successful for hive/hadoop.<系统域名>@<系统域名> (auth:KERBEROS) | Server.java:1388
2021-07-21 16:36:02,851 | INFO  | Socket Reader #1 for port xx | Auth successful for hive/hadoop.<系统域名>@<系统域名> (auth:KERBEROS) | Server.java:1388
2021-07-21 16:36:12,163 | WARN  | abc6016381123-1178290888-1015 | /proxy/application_1468986660719_0045/: java.net.ConnectException: Connection timed out | 
Slf4jLog.java:76
2021-07-21 16:37:03,918 | INFO  | Socket Reader #1 for port xxx | Auth successful for hive/hadoop.<系统域名>@<系统域名> (auth:KERBEROS) | Server.java:1388
2021-07-21 16:37:03,926 | INFO  | Socket Reader #1 for port xxx | Auth successful for hive/hadoop.<系统域名>@<系统域名> (auth:KERBEROS) | Server.java:1388
2021-07-21 16:37:11,956 | INFO  | AsyncDispatcher event handler | Updating application attempt appattempt_1468986660719_0045_000001 with final state: FINISHING, 
and exit status: -1000 | RMAppAttemptImpl.java:1253

原因分析

打开FusionInsight Manager页面，看到Yarn服务的业务IP地址为192网段。

从Yarn的日志看到，Yarn读取的Spark Web UI地址为http://10.10.169.53:23011，是10网段的IP地址。由于192网段的IP和10网段的IP不能互通，所以导致访问Spark Web UI界面失败。

处理步骤

  1. 登录10.10.169.53客户端机器。
  2. 修改“/etc/hosts”文件，将10.120.169.53更改为相对应的192网段的IP地址。
  3. 修改再重新运行Spark应用，这时就可以打开Spark Web UI界面。