准备HDFS应用运行环境

前提条件

1. 确认服务端HDFS组件已经安装，并正常运行。

2. 客户端运行环境已安装1.7或1.8版本的JDK

3. 获取客户端安装包MRS_Services_Client.tar

操作场景

在Linux上安装客户端。

操作步骤

1. 客户端机器的时间与Hadoop集群的时间要保持一致(手动修改客户端机器或者集群的时间)，时间差小于5分钟。

   MRS集群的时间可通过登录主管理节点（集群管理IP地址所在节点）运行date命令查询。

2. 下载MapReduce客户端程序到客户端机器中。
   1. 登录MRS Manager系统。
   2. 选择“服务管理 > 下载客户端”，下载客户端程序到客户端机器。

3. 解压缩客户端文件包MRS_Services_Client.tar。安装包为tar格式，执行如下命令解压两次。

   tar -xvf MRS_Services_Client.tar

   tar -xvf MRS_Service_ClientConfig.tar

4. 为运行环境设置环境变量，假设安装包解压路径为“MRS_Services_ClientConfig/”。

   进入解压文件夹，执行如下命令安装客户端。

   sh install.sh {client_install_home}

5. 进入客户端安装目录，执行如下命令初始化环境变量。

   source bigdata_env

6. 从服务端拷贝如下文件至jar包（样例代码导出的jar包可参考在Linux环境中调测HDFS应用）同目录的conf目录下。

   表1 配置文件

   文件名称	作用	获取地址
   core-site.xml	配置HDFS详细参数。	${HADOOP_HOME}/etc/hadoop/core-site.xml
   hdfs-site.xml	配置HDFS详细参数。	${HADOOP_HOME}/etc/hadoop/hdfs-site.xml
   user.keytab	对于Kerberos安全认证提供HDFS用户信息。	如果是安全模式集群，您可以联系管理员获取相应账号对应权限的keytab文件和krb5文件。
   krb5.conf	Kerberos server配置信息。

   

   • 表1中${HADOOP_HOME}表示服务端Hadoop的安装目录。

   • keytab认证是24小时有效，超过24小时需要重新认证。
   • 样例代码中PRNCIPAL_NAME的用户名要与获取keytab文件和krb5文件的账户名一致。
   • 不同集群的user.keytab、krb5.conf不能共用。
   • 注意样例代码中，“System.getProperty("user.dir") + File.separator + "conf" + File.separator + "user.keytab"”处使用的keytab文件需与用户的keytab一致。
   • conf目录下的log4j.properties文件可根据自己的需要进行配置。