文档首页/ MapReduce服务 MRS/ 组件操作指南(LTS版)/ 使用Spark/Spark2x/ Spark常见问题/ Spark Core/ 访问Spark应用的聚合日志页面报“DNS查找失败”错误
更新时间:2024-07-24 GMT+08:00

访问Spark应用的聚合日志页面报“DNS查找失败”错误

问题

采用http(s)://<spark ip>:<spark port>的方式直接访问Spark JobHistory页面时,如果当前跳转的Spark JobHistory页面不是FusionInsight代理的页面(FusionInsight代理的URL地址类似于:https://<oms ip>:20026/Spark2x/JobHistory2x/xx/),单击某个应用,再单击“AggregatedLogs”,然后单击需要查看的其中一个Executor的“logs”,此时会报如图1所示的错误。

图1 聚合日志失败页面

回答

原因:弹出的URL地址(如https://<hostname>:20026/Spark2x/JobHistory2x/xx/history/application_xxx/jobs/),其中的<hostname>没有在Windows系统的hosts文件中添加域名信息,导致DNS查找失败无法显示此网页。

解决措施:

  • 建议用户使用FusionInsight代理去访问Spark JobHistory页面,即单击如图2中蓝框所示的Spark WebUI的链接。
    图2 FusionInsight Manager的Spark2x页面
  • 如果用户需要不通过FusionInsight Manager访问Spark JobHistory页面,则需要将URL地址中的<hostname>更改为IP地址进行访问,或者在Windows系统的hosts文件中添加该域名信息。