文档首页/ MapReduce服务 MRS/ 故障排除/ 使用Sqoop/ 通过sqoop import命令从PgSQL导出数据到Hive时报错
更新时间：2023-12-22 GMT+08:00
查看PDF
分享

通过sqoop import命令从PgSQL导出数据到Hive时报错

背景

使用sqoop import命令抽取开源PgSQL数据库内容到MRS HDFS或Hive中。

用户问题

使用sqoop命令可以查询PgSQL表，但是执行sqoop import命令导入导出时报错：

The authentication type 5 is not supported. Check that you have configured the pg_hba.conf file to include the client's IP address or subnet。

原因分析

  1. 连接PgSQL MD5认证不通过，需要在“pg_hba.conf”中配置白名单。
  2. 在执行sqoop import命令时，会启动MapReduce任务，由于MRS Hadoop安装目下（例如“/opt/Bigdata/FusionInsight_HD_*/1_*_NodeManager/install/hadoop/share/hadoop/common/lib”）自带了PgSQL驱动包“gsjdbc4-*.jar”，与开源PgSQL服务不兼容导致报错。

处理步骤

  1. 用户在“pg_hba.conf”文件配置白名单。
  2. 驱动重复，集群自带，将其余驱动清除，所有Core节点上的gsjdbc4 jar包去掉，在sqoop/lib目录下添加PgSQL Jar包即可。

    mv /opt/Bigdata/FusionInsight_HD_*/1_*_NodeManager/install/hadoop/share/hadoop/common/lib/gsjdbc4-*.jar /tmp

父主题： 使用Sqoop