更新时间:2024-11-29 GMT+08:00
加载空的part文件时,app无法显示在JobHistory的页面上
问题
在分组模式下执行应用,当HDFS上的part文件为空时,发现JobHistory首页面上不显示该part对应的app。
回答
JobHistory服务更新页面上的app时,会根据HDFS上的part文件大小变更与否判断是否刷新首页面的app显示信息。若文件为第一次查看,则将当前文件大小与0作比较,如果大于0则读取该文件。
分组的情况下,如果执行的app没有job处于执行状态,则part文件为空,即JobHistory服务不会读取该文件,此app也不会显示在JobHistory页面上。但若part文件大小之后有更新,JobHistory又会显示该app。
父主题: Spark常见问题