日志聚合下如何查看Spark已完成应用日志

问题

当YARN开启了日志聚合功能时，如何在页面看到聚合后的container日志？

回答

当Yarn配置“yarn.log-aggregation-enable”为“true”时，就开启了container日志聚合功能。

日志聚合功能是指：当应用在Yarn上执行完成后，NodeManager将本节点中所有container的日志聚合到HDFS中，并删除本地日志。详情请参见配置Container日志聚合功能。

然而，开启container日志聚合功能之后，其日志聚合至HDFS目录中，只能通过获取HDFS文件来查看日志。

开源Spark和Yarn服务不支持通过WebUI查看聚合后的日志。