文档首页/
MapReduce服务 MRS/
组件操作指南(普通版)/
使用Spark2x(MRS 3.x及之后版本)/
Spark2x常见问题/
Spark Core/
日志聚合下如何查看Spark已完成应用日志
更新时间:2024-12-10 GMT+08:00
日志聚合下如何查看Spark已完成应用日志
问题
当YARN开启了日志聚合功能时,如何在页面看到聚合后的container日志?
回答
当Yarn配置“yarn.log-aggregation-enable”为“true”时,就开启了container日志聚合功能。
日志聚合功能是指:当应用在Yarn上执行完成后,NodeManager将本节点中所有container的日志聚合到HDFS中,并删除本地日志。详情请参见配置Container日志聚合功能。
然而,开启container日志聚合功能之后,其日志聚合至HDFS目录中,只能通过获取HDFS文件来查看日志。
开源Spark和Yarn服务不支持通过WebUI查看聚合后的日志。
父主题: Spark Core