文档首页 > > 开发指南> Spark应用开发> FAQ> Structured Streaming的cluster模式,在数据处理过程中终止ApplicationManager,应用失败

Structured Streaming的cluster模式,在数据处理过程中终止ApplicationManager,应用失败

分享
更新时间: 2019/04/30 GMT+08:00

问题

Structured Streaming的cluster模式,在数据处理过程中终止ApplicationManager,执行应用时显示如下异常。

2017-05-09 20:46:02,393 | INFO  | main |
client token: Token { kind: YARN_CLIENT_TOKEN, service:  }
diagnostics: User class threw exception: org.apache.spark.sql.AnalysisException: This query does not support recovering from checkpoint location. Delete hdfs://hacluster/structuredtest/checkpoint/offsets to start over.;
ApplicationMaster host: 9.96.101.170
ApplicationMaster RPC port: 0
queue: default
start time: 1494333891969
final status: FAILED
tracking URL: https://9-96-101-191:26001/proxy/application_1493689105146_0052/
user: spark2x | org.apache.spark.internal.Logging$class.logInfo(Logging.scala:54)
Exception in thread "main" org.apache.spark.SparkException: Application application_1493689105146_0052 finished with failed status

回答

原因分析:显示该异常是因为“recoverFromCheckpointLocation”的值判定为false,但却配置了checkpoint目录。

参数“recoverFromCheckpointLocation”的值为代码中“outputMode == OutputMode.Complete()”语句的判断结果(outputMode的默认输出方式为“append”)。

处理方法:编写应用时,用户可以根据具体情况修改数据的输出方式,调用outputMode方法修改输出方式的操作可参见《DataSight Spark V100R002CXX Spark2.1 API Reference》。

将输出方式修改为“complete”,“recoverFromCheckpointLocation”的值会判定为true。此时配置了checkpoint目录时就不会显示异常。

分享:

    相关文档

    相关产品

文档是否有解决您的问题?

提交成功!

非常感谢您的反馈,我们会继续努力做到更好!

反馈提交失败,请稍后再试!

*必选

请至少选择或填写一项反馈信息

字符长度不能超过200

提交反馈 取消

如您有其它疑问,您也可以通过华为云社区问答频道来与我们联系探讨

智能客服提问云社区提问