Spark日志介绍
日志描述
日志存储路径：
- Executor运行日志：“${BIGDATA_DATA_HOME}/hadoop/data${i}/nm/containerlogs/application_${appid}/container_{$contid}”
- 其他日志：“/var/log/Bigdata/spark”
日志归档规则：
- 使用yarn-client或yarn-cluster模式提交任务时，Executor日志默认50MB滚动存储一次，最多保留10个文件，不压缩。
- JobHistory日志默认100MB滚动存储一次，最多保留100个文件，压缩存储。
- JDBCServer日志默认100MB滚动存储一次，最多保留100个文件，压缩存储。
- IndexServer日志默认100MB滚动存储一次，最多保留100个文件，压缩存储。
- JDBCServer审计日志默认20MB滚动存储一次，最多保留20个文件，压缩存储。
- 日志大小和压缩文件保留个数可以在FusionInsight Manager界面中配置。
|
日志类型 |
日志文件名 |
描述 |
|---|---|---|
|
SparkResource日志 |
spark.log |
Spark服务初始化日志。 |
|
prestart.log |
prestart脚本日志。 |
|
|
cleanup.log |
安装卸载实例时的清理日志。 |
|
|
spark-availability-check.log |
Spark服务健康检查日志。 |
|
|
spark-service-check.log |
Spark服务检查日志 |
|
|
JDBCServer日志 |
JDBCServer-start.log |
JDBCServer启动日志。 |
|
JDBCServer-stop.log |
JDBCServer停止日志。 |
|
|
JDBCServer.log |
JDBCServer运行时，Driver端日志。 |
|
|
jdbc-state-check.log |
JDBCServer健康检查日志。 |
|
|
jdbcserver-omm-pid***-gc.log.*.current |
JDBCServer进程gc日志。 |
|
|
spark-omm-org.apache.spark.sql.hive.thriftserver.HiveThriftProxyServer2-***.out* |
JDBCServer进程启动信息日志。若进程停止，会打印jstack信息。 |
|
|
JobHistory日志 |
jobHistory-start.log |
JobHistory启动日志。 |
|
jobHistory-stop.log |
JobHistory停止日志。 |
|
|
JobHistory.log |
JobHistory运行过程日志。 |
|
|
jobhistory-omm-pid***-gc.log.*.current |
JobHistory进程gc日志。 |
|
|
spark-omm-org.apache.spark.deploy.history.HistoryServer-***.out* |
JobHistory进程启动信息日志。若进程停止，会打印jstack信息。 |
|
|
IndexServer日志 |
IndexServer-start.log |
IndexServer启动日志。 |
|
IndexServer-stop.log |
IndexServer停止日志。 |
|
|
IndexServer.log |
IndexServer运行时，Driver端日志。 |
|
|
indexserver-state-check.log |
IndexServer健康检查日志。 |
|
|
indexserver-omm-pid***-gc.log.*.current |
IndexServer进程gc日志。 |
|
|
spark-omm-org.apache.spark.sql.hive.thriftserver.IndexServerProxy-***.out* |
IndexServer进程启动信息日志。若进程停止，会打印jstack信息。 |
|
|
审计日志 |
jdbcserver-audit.log ranger-audit.log |
JDBCServer审计日志。 |
日志级别
Spark中提供了如表2所示的日志级别。日志级别优先级从高到低分别是ERROR、WARN、INFO、DEBUG。程序会打印高于或等于所设置级别的日志，设置的日志等级越高，打印出来的日志就越少。
|
级别 |
描述 |
|---|---|
|
ERROR |
ERROR表示当前事件处理存在错误信息。 |
|
WARN |
WARN表示当前事件处理存在异常信息。 |
|
INFO |
INFO表示记录系统及各事件正常运行状态信息。 |
|
DEBUG |
DEBUG表示记录系统及系统的调试信息。 |
如果您需要修改日志级别，请执行如下操作：
默认情况下配置Spark日志级别不需要重启服务。
- 登录FusionInsight Manager系统。
- 选择“集群 > 服务 > Spark > 配置”。
- 单击“全部配置”。
- 左边菜单栏中选择所需修改的角色所对应的日志菜单。
- 选择所需修改的日志级别。
- 单击“保存”，然后单击“确定”，成功后配置生效。
日志格式
|
日志类型 |
格式 |
示例 |
|---|---|---|
|
运行日志 |
<yyyy-MM-dd HH:mm:ss,SSS>|<Log Level>|<产生该日志的线程名字>|<log中的message>|<日志事件的发生位置> |
2014-09-22 11:16:23,980 INFO DAGScheduler: Final stage: Stage 0(reduce at SparkPi.scala:35) |
