Spark日志介绍
日志描述
日志存储路径：
- Executor运行日志：“${BIGDATA_DATA_HOME}/hadoop/data${i}/nm/containerlogs/application_${appid}/container_{$contid}”
- 其他日志：“/var/log/Bigdata/spark2x”
日志归档规则：
- 使用yarn-client或yarn-cluster模式提交任务时，Executor日志默认50MB滚动存储一次，最多保留10个文件，不压缩。
- JobHistory2x日志默认100MB滚动存储一次，最多保留100个文件，压缩存储。
- JDBCServer2x日志默认100MB滚动存储一次，最多保留100个文件，压缩存储。
- IndexServer2x日志默认100MB滚动存储一次，最多保留100个文件，压缩存储。
- JDBCServer2x审计日志默认20MB滚动存储一次，最多保留20个文件，压缩存储。
- 日志大小和压缩文件保留个数可以在FusionInsight Manager界面中配置。
|
日志类型 |
日志文件名 |
描述 |
|---|---|---|
|
SparkResource2x日志 |
spark.log |
Spark2x服务初始化日志。 |
|
prestart.log |
prestart脚本日志。 |
|
|
cleanup.log |
安装卸载实例时的清理日志。 |
|
|
spark-availability-check.log |
Spark2x服务健康检查日志。 |
|
|
spark-service-check.log |
Spark2x服务检查日志 |
|
|
JDBCServer2x日志 |
JDBCServer-start.log |
JDBCServer2x启动日志。 |
|
JDBCServer-stop.log |
JDBCServer2x停止日志。 |
|
|
JDBCServer.log |
JDBCServer2x运行时，Driver端日志。 |
|
|
jdbc-state-check.log |
JDBCServer2x健康检查日志。 |
|
|
jdbcserver-omm-pid***-gc.log.*.current |
JDBCServer2x进程gc日志。 |
|
|
spark-omm-org.apache.spark.sql.hive.thriftserver.HiveThriftProxyServer2-***.out* |
JDBCServer2x进程启动信息日志。如果进程停止，会打印jstack信息。 |
|
|
JobHistory2x日志 |
jobHistory-start.log |
JobHistory2x启动日志。 |
|
jobHistory-stop.log |
JobHistory2x停止日志。 |
|
|
JobHistory.log |
JobHistory2x运行过程日志。在JobHistory运行过程中，如果该文件因为意外被删除，不会影响JobHistory服务的正常运行，但日志会丢失。直到下一次JobHistory服务重启时，才会重新生成JobHistory.log文件，继续记录日志。 |
|
|
jobhistory-omm-pid***-gc.log.*.current |
JobHistory2x进程gc日志。 |
|
|
spark-omm-org.apache.spark.deploy.history.HistoryServer-***.out* |
JobHistory2x进程启动信息日志。如果进程停止，会打印jstack信息。 |
|
|
IndexServer2x日志 |
IndexServer-start.log |
IndexServer2x启动日志。 |
|
IndexServer-stop.log |
IndexServer2x停止日志。 |
|
|
IndexServer.log |
IndexServer2x运行时，Driver端日志。 |
|
|
indexserver-state-check.log |
IndexServer2x健康检查日志。 |
|
|
indexserver-omm-pid***-gc.log.*.current |
IndexServer2x进程gc日志。 |
|
|
spark-omm-org.apache.spark.sql.hive.thriftserver.IndexServerProxy-***.out* |
IndexServer2x进程启动信息日志。如果进程停止，会打印jstack信息。 |
|
|
审计日志 |
jdbcserver-audit.log ranger-audit.log |
JDBCServer2x审计日志。 |
日志级别
Spark2x中提供了如表2所示的日志级别。日志级别优先级从高到低分别是ERROR、WARN、INFO、DEBUG。程序会打印高于或等于所设置级别的日志，设置的日志等级越高，打印出来的日志就越少。
|
级别 |
描述 |
|---|---|
|
ERROR |
ERROR表示当前时间处理存在错误信息。 |
|
WARN |
WARN表示当前事件处理存在异常信息。 |
|
INFO |
INFO表示记录系统及各事件正常运行状态信息。 |
|
DEBUG |
DEBUG表示记录系统及系统的调试信息。 |
如果您需要修改日志级别，请执行如下操作：
默认情况下配置Spark2x日志级别不需要重启服务。
- 登录FusionInsight Manager系统。
- 选择“集群 > 服务 > Spark2x > 配置”。
- 单击“全部配置”。
- 左边菜单栏中选择所需修改的角色所对应的日志菜单。
- 选择所需修改的日志级别。
- 单击“保存”，然后单击“确定”，成功后配置生效。
日志格式
|
日志类型 |
格式 |
示例 |
|---|---|---|
|
运行日志 |
<yyyy-MM-dd HH:mm:ss,SSS>|<Log Level>|<产生该日志的线程名字>|<log中的message>|<日志事件的发生位置> |
2014-09-22 11:16:23,980 INFO DAGScheduler: Final stage: Stage 0(reduce at SparkPi.scala:35) |
