文档首页/ MapReduce服务 MRS/ 组件操作指南（LTS版）/ 使用Spark/Spark2x/ Spark运维管理/ Spark日志介绍
更新时间：2024-08-01 GMT+08:00
查看PDF
分享

Spark日志介绍

日志描述

日志存储路径：

  • Executor运行日志：“${BIGDATA_DATA_HOME}/hadoop/data${i}/nm/containerlogs/application_${appid}/container_{$contid}”

    运行中的任务日志存储在以上路径中，运行结束后会基于Yarn的配置确定是否汇聚到HDFS目录中，详情请参见Yarn常用配置参数。

  • 其他日志：“/var/log/Bigdata/spark2x”

日志归档规则：

  • 使用yarn-client或yarn-cluster模式提交任务时，Executor日志默认50MB滚动存储一次，最多保留10个文件，不压缩。
  • JobHistory2x日志默认100MB滚动存储一次，最多保留100个文件，压缩存储。
  • JDBCServer2x日志默认100MB滚动存储一次，最多保留100个文件，压缩存储。
  • IndexServer2x日志默认100MB滚动存储一次，最多保留100个文件，压缩存储。
  • JDBCServer2x审计日志默认20MB滚动存储一次，最多保留20个文件，压缩存储。
  • 日志大小和压缩文件保留个数可以在FusionInsight Manager界面中配置。
表1 Spark2x日志列表

日志类型

日志文件名

描述

SparkResource2x日志

spark.log

Spark2x服务初始化日志。

prestart.log

prestart脚本日志。

cleanup.log

安装卸载实例时的清理日志。

spark-availability-check.log

Spark2x服务健康检查日志。

spark-service-check.log

Spark2x服务检查日志

JDBCServer2x日志

JDBCServer-start.log

JDBCServer2x启动日志。

JDBCServer-stop.log

JDBCServer2x停止日志。

JDBCServer.log

JDBCServer2x运行时，Driver端日志。

jdbc-state-check.log

JDBCServer2x健康检查日志。

jdbcserver-omm-pid***-gc.log.*.current

JDBCServer2x进程gc日志。

spark-omm-org.apache.spark.sql.hive.thriftserver.HiveThriftProxyServer2-***.out*

JDBCServer2x进程启动信息日志。如果进程停止，会打印jstack信息。

JobHistory2x日志

jobHistory-start.log

JobHistory2x启动日志。

jobHistory-stop.log

JobHistory2x停止日志。

JobHistory.log

JobHistory2x运行过程日志。

jobhistory-omm-pid***-gc.log.*.current

JobHistory2x进程gc日志。

spark-omm-org.apache.spark.deploy.history.HistoryServer-***.out*

JobHistory2x进程启动信息日志。如果进程停止，会打印jstack信息。

IndexServer2x日志

IndexServer-start.log

IndexServer2x启动日志。

IndexServer-stop.log

IndexServer2x停止日志。

IndexServer.log

IndexServer2x运行时，Driver端日志。

indexserver-state-check.log

IndexServer2x健康检查日志。

indexserver-omm-pid***-gc.log.*.current

IndexServer2x进程gc日志。

spark-omm-org.apache.spark.sql.hive.thriftserver.IndexServerProxy-***.out*

IndexServer2x进程启动信息日志。如果进程停止，会打印jstack信息。

审计日志

jdbcserver-audit.log

ranger-audit.log

JDBCServer2x审计日志。

日志级别

Spark2x中提供了如表2所示的日志级别。日志级别优先级从高到低分别是ERROR、WARN、INFO、DEBUG。程序会打印高于或等于所设置级别的日志，设置的日志等级越高，打印出来的日志就越少。

表2 日志级别

级别

描述

ERROR

ERROR表示当前时间处理存在错误信息。

WARN

WARN表示当前事件处理存在异常信息。

INFO

INFO表示记录系统及各事件正常运行状态信息。

DEBUG

DEBUG表示记录系统及系统的调试信息。

如果您需要修改日志级别，请执行如下操作：

默认情况下配置Spark2x日志级别不需要重启服务。

  1. 登录FusionInsight Manager系统。
  2. 选择“集群 > 服务 > Spark2x > 配置”。
  3. 单击“全部配置”。
  4. 左边菜单栏中选择所需修改的角色所对应的日志菜单。
  5. 选择所需修改的日志级别。
  6. 单击“保存”，然后单击“确定”，成功后配置生效。

日志格式

表3 日志格式

日志类型

格式

示例

运行日志

<yyyy-MM-dd HH:mm:ss,SSS>|<Log Level>|<产生该日志的线程名字>|<log中的message>|<日志事件的发生位置>

2014-09-22 11:16:23,980 INFO DAGScheduler: Final stage: Stage 0(reduce at SparkPi.scala:35)
父主题： Spark运维管理

相关文档