文档首页 > > 开发指南> Spark应用开发> FAQ> Spark任务读取HBase报错“had a not serializable result”

Spark任务读取HBase报错“had a not serializable result”

分享
更新时间: 2020/03/19 GMT+08:00

问题

Spark任务读取HBase报错,报错信息:Task 0.0 in stage 0.0 (TID 0) had a not serializable result: org.apache.hadoop.hbase.io.ImmutableBytesWritable,应该如何处理?

回答

可通过如下两种方式处理:

  • 在代码的SparkConf初始化之前执行以下两行代码:
    System.setProperty("spark.serializer", "org.apache.spark.serializer.KryoSerializer");
    System.setProperty("spark.kryo.registrator", "com.huawei.bigdata.spark.examples.MyRegistrator");
  • 在SparkConf对象使用set方法设置,代码如下:
    val conf = new SparkConf().setAppName("HbaseTest");
    conf.set("spark.serializer", "org.apache.spark.serializer.KryoSerializer");
    conf.set("spark.kryo.registrator", "com.huawei.bigdata.spark.examples.MyRegistrator");
分享:

    相关文档

    相关产品

文档是否有解决您的问题?

提交成功!

非常感谢您的反馈,我们会继续努力做到更好!

反馈提交失败,请稍后再试!

*必选

请至少选择或填写一项反馈信息

字符长度不能超过200

提交反馈 取消

如您有其它疑问,您也可以通过华为云社区问答频道来与我们联系探讨

智能客服提问云社区提问