日志聚合下如何查看Spark已完成应用日志
问题
当YARN开启了日志聚合功能时,如何在页面看到聚合后的container日志?
回答
当Yarn配置“yarn.log-aggregation-enable”为“true”时,就开启了container日志聚合功能。
日志聚合功能是指:当应用在Yarn上执行完成后,NodeManager将本节点中所有container的日志聚合到HDFS中,并删除本地日志。详情请参见配置Container日志聚合功能。
然而,开启container日志聚合功能之后,其日志聚合至HDFS目录中,只能通过获取HDFS文件来查看日志。
开源Spark和Yarn服务不支持通过WebUI查看聚合后的日志。