# Hortonworks HDP对接OBS
#### 部署视图
**安装版本**
硬件：1master+3core（配置：8U32G，操作系统：CentOS 7.5）
软件：Ambari：2.7.1.0，HDP：3.0.1.0
**部署视图**
![](https://support.huaweicloud.com/bestpractice-obs/zh-cn_image_0000001199732591.png "点击放大")
#### 更新OBSA-HDFS工具
1. 下载与hadoop版本配套的OBSA-HDFS工具：[下载地址](https://github.com/huaweicloud/obsa-hdfs/tree/master/release)。
   
   下载OBSA-HDFS工具的jar包（如hadoop-huaweicloud-3.1.1-hw-53.8.jar）到/mnt/obsjar目录。
   ![](https://support.huaweicloud.com/bestpractice-obs/public_sys-resources/note_3.0-zh-cn.png)
   - hadoop-huaweicloud-x.x.x-hw-y.jar包含义：前三位x.x.x为配套hadoop版本号；最后一位y为OBSA版本号，y值最大为最新版本。如：hadoop-huaweicloud-3.1.1-hw-53.8.jar，3.1.1是配套hadoop版本号，53.8是OBSA的版本号。
   
   - 如hadoop版本为3.1.x，则选择hadoop-huaweicloud-3.1.1-hw-53.8.jar。
    
   
   
2. 执行以下命令，将OBSA-HDFS工具jar包（如hadoop-huaweicloud-3.1.1-hw-53.8.jar）拷贝到如下目录中。 
   **cp /mnt/obsjar/hadoop-huaweicloud-3.1.1-hw-53.8.jar /usr/hdp/share/hst/activity-explorer/lib/**
   **cp /mnt/obsjar/hadoop-huaweicloud-3.1.1-hw-53.8.jar /usr/hdp/3.0.1.0-187/hadoop-mapreduce/**
   **cp /mnt/obsjar/hadoop-huaweicloud-3.1.1-hw-53.8.jar /usr/hdp/3.0.1.0-187/spark2/jars/**
   **cp /mnt/obsjar/hadoop-huaweicloud-3.1.1-hw-53.8.jar /usr/hdp/3.0.1.0-187/tez/lib/**
   **cp /mnt/obsjar/hadoop-huaweicloud-3.1.1-hw-53.8.jar /var/lib/ambari-server/resources/views/work/CAPACITY-SCHEDULER{1.0.0}/WEB-INF/lib/**
   **cp /mnt/obsjar/hadoop-huaweicloud-3.1.1-hw-53.8.jar /var/lib/ambari-server/resources/views/work/FILES{1.0.0}/WEB-INF/lib/**
   **cp /mnt/obsjar/hadoop-huaweicloud-3.1.1-hw-53.8.jar /var/lib/ambari-server/resources/views/work/WORKFLOW_MANAGER{1.0.0}/WEB-INF/lib/**
   **ln -s /usr/hdp/3.0.1.0-187/hadoop-mapreduce/hadoop-huaweicloud-3.1.1-hw-53.8.jar /usr/hdp/3.0.1.0-187/hadoop-mapreduce/hadoop-huaweicloud.jar**
   
   
 
#### 在HDFS集群中增加配置项
1. 在HDFS集群CONFIGS的ADVANCED配置项中增加Custom core-site.xml文件中的配置项，包括：fs.obs.access.key，fs.obs.secret.key，fs.obs.endpoint和fs.obs.impl。 
   ![](https://support.huaweicloud.com/bestpractice-obs/public_sys-resources/note_3.0-zh-cn.png)
   1. fs.obs.access.key、fs.obs.secret.key、fs.obs.endpoint分别为用户的ak、sk和endpoint。访问密钥AK/SK和终端节点Endpoint请根据实际填写，AK/SK获取方式请参见[访问密钥（AK/SK）](https://support.huaweicloud.com/productdesc-obs/obs_03_0208.html)，Endpoint获取方式请参见[终端节点（Endpoint）和访问域名](https://support.huaweicloud.com/productdesc-obs/obs_03_0152.html)。
   
   2. fs.obs.impl配置为org.apache.hadoop.fs.obs.OBSFileSystem。
    
   
   
2. 重启HDFS集群。
 
#### 在MapReduce2集群中增加配置项
1. 在MapReduce2集群CONFIGS的ADVANCED配置项中修改mapred-site.xml文件中的mapreduce.application.classpath配置项，添加路径为/usr/hdp/3.0.1.0-187/hadoop-mapreduce/\*。
2. 重启MapReduce2集群。
 
#### 增加Hive对接OBS的jar包
1. 执行以下命令，在Hive Server节点创建auxlib文件夹。 
   **mkdir /usr/hdp/3.0.1.0-187/hive/auxlib**
   
   
2. 执行以下命令，将OBSA-HDFS工具的jar包放到auxlib文件夹。 
   **cp /mnt/obsjar/hadoop-huaweicloud-3.1.1-hw-53.8.jar /usr/hdp/3.0.1.0-187/hive/auxlib**
   
   
3. 重启Hive集群。