在Linux环境中调测HDFS应用

操作场景

HDFS应用程序支持在安装HDFS客户端的Linux环境中运行。在程序代码完成开发后，可以上传Jar包至Linux客户端环境中运行应用。

HDFS应用程序只支持在Linux环境下运行，不支持在Windows环境下运行。

前提条件

• 已安装HDFS客户端。
• 当客户端所在主机不是集群中的节点时，需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。

操作步骤

1. 执行mvn package生成jar包，在工程目录target目录下获取，比如:hdfs-examples-1.0.jar。
2. 将导出的Jar包拷贝上传至Linux客户端运行环境的任意目录下，例如“/opt/client”，然后在该目录下创建“conf”目录，将“user.keytab” 和 "krb5.conf"拷贝至“conf”目录。可参考6 。
3. 配置环境变量。

   source /opt/client/bigdata_env

4. 执行如下命令，运行Jar包。

   hadoop jar hdfs-examples-1.0.jar com.huawei.bigdata.hdfs.examples.HdfsMain

   

   运行命令时，需保持客户端“Yarn/config/hdfs-site.xml”中的kerberos相关信息和“HDFS/hadoop/etc/hadoop/hdfs-site.xml”中的kerberos相关信息一致。“hdfs-site.xml”中kerberos的配置mapred改为hdfs，需要修改的地方如图1所示。

   图1 hdfs-site.xml