# Spark2x日志介绍 #### 日志描述 **日志存储路径：** - Executor运行日志："${BIGDATA_DATA_HOME}/hadoop/data${i}/nm/containerlogs/application_${appid}/container_{$contid}" ![](https://support.huaweicloud.com/cmpntguide-mrs/public_sys-resources/note_3.0-zh-cn.png) 运行中的任务日志存储在以上路径中，运行结束后会基于Yarn的配置确定是否汇聚到HDFS目录中，详情请参见[Yarn常用配置参数](https://support.huaweicloud.com/cmpntguide-mrs/mrs_01_0852.html)。 - 其他日志："/var/log/Bigdata/spark2x" **日志归档规则**： - 使用yarn-client或yarn-cluster模式提交任务时，Executor日志默认50MB滚动存储一次，最多保留10个文件，不压缩。 - JobHistory2x日志默认100MB滚动存储一次，最多保留100个文件，压缩存储。 - JDBCServer2x日志默认100MB滚动存储一次，最多保留100个文件，压缩存储。 - IndexServer2x日志默认100MB滚动存储一次，最多保留100个文件，压缩存储。 - JDBCServer2x审计日志默认20MB滚动存储一次，最多保留20个文件，压缩存储。 - 日志大小和压缩文件保留个数可以在FusionInsight Manager界面中配置。 表1Spark2x日志列表 | 日志类型 | 日志文件名 | 描述 | |:---|:---|:---| | SparkResource2x日志 | spark.log | Spark2x服务初始化日志。 | | SparkResource2x日志 | prestart.log | prestart脚本日志。 | | SparkResource2x日志 | cleanup.log | 安装卸载实例时的清理日志。 | | SparkResource2x日志 | spark-availability-check.log | Spark2x服务健康检查日志。 | | SparkResource2x日志 | spark-service-check.log | Spark2x服务检查日志 | | JDBCServer2x日志 | JDBCServer-start.log | JDBCServer2x启动日志。 | | JDBCServer2x日志 | JDBCServer-stop.log | JDBCServer2x停止日志。 | | JDBCServer2x日志 | JDBCServer.log | JDBCServer2x运行时，Driver端日志。 | | JDBCServer2x日志 | jdbc-state-check.log | JDBCServer2x健康检查日志。 | | JDBCServer2x日志 | jdbcserver-omm-pid\*\*\*-gc.log.\*.current | JDBCServer2x进程gc日志。 | | JDBCServer2x日志 | spark-omm-org.apache.spark.sql.hive.thriftserver.HiveThriftProxyServer2-\*\*\*.out\* | JDBCServer2x进程启动信息日志。若进程停止，会打印jstack信息。 | | JobHistory2x日志 | jobHistory-start.log | JobHistory2x启动日志。 | | JobHistory2x日志 | jobHistory-stop.log | JobHistory2x停止日志。 | | JobHistory2x日志 | JobHistory.log | JobHistory2x运行过程日志。 | | JobHistory2x日志 | jobhistory-omm-pid\*\*\*-gc.log.\*.current | JobHistory2x进程gc日志。 | | JobHistory2x日志 | spark-omm-org.apache.spark.deploy.history.HistoryServer-\*\*\*.out\* | JobHistory2x进程启动信息日志。若进程停止，会打印jstack信息。 | | IndexServer2x日志 | IndexServer-start.log | IndexServer2x启动日志。 | | IndexServer2x日志 | IndexServer-stop.log | IndexServer2x停止日志。 | | IndexServer2x日志 | IndexServer.log | IndexServer2x运行时，Driver端日志。 | | IndexServer2x日志 | indexserver-state-check.log | IndexServer2x健康检查日志。 | | IndexServer2x日志 | indexserver-omm-pid\*\*\*-gc.log.\*.current | IndexServer2x进程gc日志。 | | IndexServer2x日志 | spark-omm-org.apache.spark.sql.hive.thriftserver.IndexServerProxy-\*\*\*.out\* | IndexServer2x进程启动信息日志。若进程停止，会打印jstack信息。 | | 审计日志 | jdbcserver-audit.log ranger-audit.log | JDBCServer2x审计日志。 | #### 日志级别 Spark2x中提供了如[表2]所示的日志级别。日志级别优先级从高到低分别是ERROR、WARN、INFO、DEBUG。程序会打印高于或等于所设置级别的日志，设置的日志等级越高，打印出来的日志就越少。 表2日志级别 | **级别** | **描述** | |:---|:---| | ERROR | ERROR表示当前时间处理存在错误信息。 | | WARN | WARN表示当前事件处理存在异常信息。 | | INFO | INFO表示记录系统及各事件正常运行状态信息。 | | DEBUG | DEBUG表示记录系统及系统的调试信息。 | 如果您需要修改日志级别，请执行如下操作： ![](https://support.huaweicloud.com/cmpntguide-mrs/public_sys-resources/note_3.0-zh-cn.png) 默认情况下配置Spark2x日志级别不需要重启服务。 1. 登录FusionInsight Manager系统。 2. 选择"集群 \> *待操作集群的名称* \> 服务 \> Spark2x \> 配置"。 3. 单击"全部配置"。 4. 左边菜单栏中选择所需修改的角色所对应的日志菜单。 5. 选择所需修改的日志级别。 6. 单击"保存"，然后单击"确定"，成功后配置生效。 #### 日志格式 表3日志格式 | 日志类型 | 格式 | 示例 | |:---|:---|:---| | 运行日志 | \\|\\|\<产生该日志的线程名字\>\|\\|\<日志事件的发生位置\> | 2014-09-22 11:16:23,980 INFO DAGScheduler: Final stage: Stage 0(reduce at SparkPi.scala:35) |