文档首页/ 对象存储服务 OBS/ 最佳实践/ 大数据场景下使用OBS实现存算分离/ 对接大数据平台/ Hortonworks HDP对接OBS
更新时间：2024-09-18 GMT+08:00
查看PDF
分享

Hortonworks HDP对接OBS

部署视图

安装版本

硬件：1master+3core（配置：8U32G，操作系统：CentOS 7.5）

软件：Ambari：2.7.1.0，HDP：3.0.1.0

部署视图

更新OBSA-HDFS工具

  1. 下载与hadoop版本配套的OBSA-HDFS工具：下载地址。

    下载OBSA-HDFS工具的jar包（如hadoop-huaweicloud-3.1.1-hw-53.8.jar）到/mnt/obsjar目录。
    • hadoop-huaweicloud-x.x.x-hw-y.jar包含义：前三位x.x.x为配套hadoop版本号；最后一位y为OBSA版本号，y值最大为最新版本。如：hadoop-huaweicloud-3.1.1-hw-53.8.jar，3.1.1是配套hadoop版本号，53.8是OBSA的版本号。
    • 如hadoop版本为3.1.x，则选择hadoop-huaweicloud-3.1.1-hw-53.8.jar。

  2. 执行以下命令，将OBSA-HDFS工具jar包（如hadoop-huaweicloud-3.1.1-hw-53.8.jar）拷贝到如下目录中。

    cp /mnt/obsjar/hadoop-huaweicloud-3.1.1-hw-53.8.jar /usr/hdp/share/hst/activity-explorer/lib/

    cp /mnt/obsjar/hadoop-huaweicloud-3.1.1-hw-53.8.jar /usr/hdp/3.0.1.0-187/hadoop-mapreduce/

    cp /mnt/obsjar/hadoop-huaweicloud-3.1.1-hw-53.8.jar /usr/hdp/3.0.1.0-187/spark2/jars/

    cp /mnt/obsjar/hadoop-huaweicloud-3.1.1-hw-53.8.jar /usr/hdp/3.0.1.0-187/tez/lib/

    cp /mnt/obsjar/hadoop-huaweicloud-3.1.1-hw-53.8.jar /var/lib/ambari-server/resources/views/work/CAPACITY-SCHEDULER{1.0.0}/WEB-INF/lib/

    cp /mnt/obsjar/hadoop-huaweicloud-3.1.1-hw-53.8.jar /var/lib/ambari-server/resources/views/work/FILES{1.0.0}/WEB-INF/lib/

    cp /mnt/obsjar/hadoop-huaweicloud-3.1.1-hw-53.8.jar /var/lib/ambari-server/resources/views/work/WORKFLOW_MANAGER{1.0.0}/WEB-INF/lib/

    ln -s /usr/hdp/3.0.1.0-187/hadoop-mapreduce/hadoop-huaweicloud-3.1.1-hw-53.8.jar /usr/hdp/3.0.1.0-187/hadoop-mapreduce/hadoop-huaweicloud.jar

在HDFS集群中增加配置项

  1. 在HDFS集群CONFIGS的ADVANCED配置项中增加Custom core-site.xml文件中的配置项，包括：fs.obs.access.key，fs.obs.secret.key，fs.obs.endpoint和fs.obs.impl。

    1. fs.obs.access.key、fs.obs.secret.key、fs.obs.endpoint分别为用户的ak、sk和endpoint。访问密钥AK/SK和终端节点Endpoint请根据实际填写，AK/SK获取方式请参见访问密钥（AK/SK），Endpoint获取方式请参见终端节点（Endpoint）和访问域名。
    2. fs.obs.impl配置为org.apache.hadoop.fs.obs.OBSFileSystem。

  2. 重启HDFS集群。

在MapReduce2集群中增加配置项

  1. 在MapReduce2集群CONFIGS的ADVANCED配置项中修改mapred-site.xml文件中的mapreduce.application.classpath配置项，添加路径为/usr/hdp/3.0.1.0-187/hadoop-mapreduce/*。
  2. 重启MapReduce2集群。

增加Hive对接OBS的jar包

  1. 执行以下命令，在Hive Server节点创建auxlib文件夹。

    mkdir /usr/hdp/3.0.1.0-187/hive/auxlib

  2. 执行以下命令，将OBSA-HDFS工具的jar包放到auxlib文件夹。

    cp /mnt/obsjar/hadoop-huaweicloud-3.1.1-hw-53.8.jar /usr/hdp/3.0.1.0-187/hive/auxlib

  3. 重启Hive集群。
父主题： 对接大数据平台

相关文档