更新时间:2024-11-23 GMT+08:00
分享

日志聚合下如何查看Spark已完成应用日志

问题

当YARN开启了日志聚合功能时,如何在页面看到聚合后的container日志?

回答

当Yarn配置“yarn.log-aggregation-enable”“true”时,就开启了container日志聚合功能。

日志聚合功能是指:当应用在Yarn上执行完成后,NodeManager将本节点中所有container的日志聚合到HDFS中,并删除本地日志。详情请参见配置Container日志聚合功能

然而,开启container日志聚合功能之后,其日志聚合至HDFS目录中,只能通过获取HDFS文件来查看日志。

开源Spark和Yarn服务不支持通过WebUI查看聚合后的日志。

相关文档