访问Spark应用的聚合日志页面报“DNS查找失败”错误

问题

采用http(s)://<spark ip>:<spark port>的方式直接访问Spark JobHistory页面时，如果当前跳转的Spark JobHistory页面不是FusionInsight代理的页面（FusionInsight代理的URL地址类似于：https://<oms ip>:20026/Spark2x/JobHistory2x/xx/），单击某个应用，再单击“AggregatedLogs”，然后单击需要查看的其中一个Executor的“logs”，此时会报如图1所示的错误。

图1 聚合日志失败页面

回答

原因：弹出的URL地址（如https://<hostname>:20026/Spark2x/JobHistory2x/xx/history/application_xxx/jobs/），其中的<hostname>没有在Windows系统的hosts文件中添加域名信息，导致DNS查找失败无法显示此网页。

解决措施：

• 建议用户使用FusionInsight代理去访问Spark JobHistory页面，即单击如图2中蓝框所示的Spark WebUI的链接。
  图2 FusionInsight Manager的Spark2x页面
  
• 如果用户需要不通过FusionInsight Manager访问Spark JobHistory页面，则需要将URL地址中的<hostname>更改为IP地址进行访问，或者在Windows系统的hosts文件中添加该域名信息。