Spark故障排除

本章节汇总了使用Spark时遇到的常见故障及故障处理方法。

• Spark任务提交常见故障
  • Spark任务提交失败
  • Spark Streaming任务提交失败
  • 提交Spark任务时提示参数格式错误
  • 提交Spark任务时报错“ClassNotFoundException”
  • 提交Spark任务时Driver端提示运行内存超限
  • Yarn-cluster模式下提交Spark任务报“Can't get the Kerberos realm”异常
  • Yarn-client模式提交Spark任务时ApplicationMaster尝试启动两次失败
  • 通过API提交Spark作业后作业状态为error
  • 提交Spark任务时连接ResourceManager异常
  • 集群外节点提交Spark作业时报错无法连接Driver
• Spark任务运行常见故障
  • Spark任务运行失败
  • 运行Spark应用时修改MapReduce分片值报错
  • 引入jar包不正确导致Spark任务无法运行
  • Spark任务由于内存不足或未添加Jar包导致异常
  • 通过DataArts Studio调度Spark作业失败
  • 运行Spark任务发现大量shuffle结果丢失
  • 查看Spark任务日志失败
  • Spark Streaming任务失败但是Yarn WebUI中显示状态为成功
  • 多次运行Spark应用程序引发JRE错误
  • Spark shuffle异常处理
• Spark组件异常常见故障
  • 节点磁盘容量不足导致Spark服务不可用
  • JDK版本不匹配导致启动spark-sql和spark-shell失败
  • 在spark-beeline中创建或删除表失败
  • spark-beeline查询Hive视图报错
  • 通过spark-beeline指定location到OBS建表失败
  • 通过spark-shell加载数据到Hive表失败
  • SparkSQL读取ORC表报错
  • 通过Spark-sql创建Hudi表或者Hive表，未插入数据前查询表统计信息为空
  • Spark WebUI页面无法跳转到任务日志页面
  • 访问Spark应用获取的restful接口信息有误
  • 从Yarn Web UI页面无法跳转到Spark Web UI界面
  • 加载空的part文件时，app无法显示在JobHistory的页面上
  • Spark导出带有相同字段名的表失败
  • 对同一目录创建多个外表导致外表查询失败
  • 使用集群外客户端连接Spark端口失败
  • Datasource Avro格式查询异常
  • 建表语句分区列为timestamp时，使用非标准格式的时间指定分区查询表统计失败
  • SQL语法兼容TIMESTAMP/DATE特殊字符
• Spark权限认证常见故障
  • Spark连接HBase认证错误
  • Spark连接Kafka认证错误
  • Spark如何访问外部集群组件
• JDBCServer常见故障
  • JDBCServer连接失败
  • JDBCServer节点磁盘空间不足导致实例异常
• JobHistory常见故障
  • MRS集群反复上报JobHistory进程堆内存使用超出阈值告警
  • HistoryServer缓存的应用被回收，导致此类应用页面访问时出错
  • 访问Spark JobHistory中某个应用的原生页面时页面显示错误