文档首页/ MapReduce服务 MRS/ 故障排除/ 使用Yarn/ 通过Yarn WebUI页面查看作业日志提示“ERROR 500”错误
更新时间:2023-11-09 GMT+08:00
分享

通过Yarn WebUI页面查看作业日志提示“ERROR 500”错误

问题背景与现象

在MRS上提交的SparkStreaming流式作业执行一段时间后,查看Yarn WebUI页面全量日志报“HTTP ERROR 500 org.apache.http.ConnectionCloseException: Premature end of chunk coded message body:closing chunk expected”。

原因分析

该报错是由于作业运行时间过长,查看Yarn WebUI页面全量日志时需要展示的日志过大,导致报500内部错误。此时需要把作业生成的聚合日志调小,使其分段生成即可。

处理步骤

  1. root用户登录安装了Spark2x/Spark客户端的节点。
  2. 执行以下命令编辑文件。

    vim $SPARK_HOME/conf/log4j-executor.properties

  3. 调小“log4j.appender.sparklog.MaxFileSize”参数值(表示生成一份日志文件的最大存储大小,默认为50MB),例如修改为“20MB”。
  4. 调小“log4j.appender.sparklog.MaxBackupIndex”参数值(表示滚动保存的文件数量,最大为10个文件,达到第11个覆盖第一个生成的文件),例如修改为“5”。
  5. 保存文件。
  6. 重新提交作业,作业运行正常。

相关文档