更新时间:2025-08-13 GMT+08:00
使用Spark
- 运行Spark应用时修改MapReduce分片值报错
- 提交Spark任务时提示参数格式错误
- 节点磁盘容量不足导致Spark服务不可用
- 引入jar包不正确导致Spark任务无法运行
- Spark任务由于内存不足或未添加Jar包导致异常
- 提交Spark任务时报错“ClassNotFoundException”
- 提交Spark任务时Driver端提示运行内存超限
- Yarn-cluster模式下提交Spark任务报“Can't get the Kerberos realm”异常
- JDK版本不匹配导致启动spark-sql和spark-shell失败
- Yarn-client模式提交Spark任务时ApplicationMaster尝试启动两次失败
- 提交Spark任务时连接ResourceManager异常
- 通过DataArts Studio调度Spark作业失败
- 通过API提交Spark作业后作业状态为error
- MRS集群反复上报JobHistory进程堆内存使用超出阈值告警
- 在spark-beeline中创建或删除表失败
- 集群外节点提交Spark作业时报错无法连接Driver
- 运行Spark任务发现大量shuffle结果丢失
- 通过spark-shell加载数据到Hive表失败
- Spark任务提交失败
- Spark任务运行失败
- JDBCServer连接失败
- 查看Spark任务日志失败
- Spark Streaming任务提交失败
- Spark连接HBase认证错误
- Spark连接Kafka认证错误
- SparkSQL读取ORC表报错
- Spark WebUI页面无法跳转到任务日志页面
- spark-beeline查询Hive视图报错
- Spark Streaming任务失败但是Yarn WebUI中显示状态为成功
- 访问Spark应用获取的restful接口信息有误
- 从Yarn Web UI页面无法跳转到Spark Web UI界面
- HistoryServer缓存的应用被回收,导致此类应用页面访问时出错
- 加载空的part文件时,app无法显示在JobHistory的页面上
- Spark导出带有相同字段名的表失败
- 多次运行Spark应用程序引发JRE错误
- Spark如何访问外部集群组件
- 对同一目录创建多个外表导致外表查询失败
- 访问Spark JobHistory中某个应用的原生页面时页面显示错误
- 通过spark-beeline指定location到OBS建表失败
- Spark shuffle异常处理
- JDBCServer节点磁盘空间不足导致实例异常
- 使用集群外客户端连接Spark端口失败
- Datasource Avro格式查询异常
- 通过Spark-sql创建Hudi表或者Hive表,未插入数据前查询表统计信息为空
- 建表语句分区列为timestamp时,使用非标准格式的时间指定分区查询表统计失败
- SQL语法兼容TIMESTAMP/DATE特殊字符