通过Yarn WebUI页面查看作业日志提示“ERROR 500”错误

问题背景与现象

在MRS上提交的SparkStreaming流式作业执行一段时间后，查看Yarn WebUI页面全量日志报“HTTP ERROR 500 org.apache.http.ConnectionCloseException: Premature end of chunk coded message body:closing chunk expected”。

原因分析

该报错是由于作业运行时间过长，查看Yarn WebUI页面全量日志时需要展示的日志过大，导致报500内部错误。此时需要把作业生成的聚合日志调小，使其分段生成即可。

处理步骤

1. 以root用户登录安装了Spark2x/Spark客户端的节点。
2. 执行以下命令编辑文件。

   vim $SPARK_HOME/conf/log4j-executor.properties

3. 调小“log4j.appender.sparklog.MaxFileSize”参数值（表示生成一份日志文件的最大存储大小，默认为50MB），例如修改为“20MB”。
4. 调小“log4j.appender.sparklog.MaxBackupIndex”参数值（表示滚动保存的文件数量，最大为10个文件，达到第11个覆盖第一个生成的文件），例如修改为“5”。
5. 保存文件。
6. 重新提交作业，作业运行正常。