更新时间:2022-12-14 GMT+08:00

Spark连接其他服务认证问题

问题现象

  • Spark连接HBase,报认证失败或者连接不到hbase表。
  • Spark连接HBase报找不到jar包。

原因分析

  • 问题1:HBase没有获取到当前任务的认证信息,导致连接HBase的时候认证失败,无法读取到相应数据
  • 问题2:Spark默认没有加载HBase相关的jar包,需要使用--jars添加到任务中

处理步骤

  • 问题1:可以尝试开启hbase认证开关:spark.yarn.security.credentials.hbase.enabled=true。但不建议直接用HBase客户端的hbase-site.xml替换Spark客户端下的hbase-site.xml,两者并不是完全相同。
  • 问题2:需要将HBase相关的包使用--jars上传。