更新时间:2024-06-14 GMT+08:00
分享

在Linux环境中调测HDFS应用

操作场景

HDFS应用程序支持在安装HDFS客户端的Linux环境中运行。在程序代码完成开发后,可以上传Jar包至Linux客户端环境中运行应用。

HDFS应用程序只支持在Linux环境下运行,不支持在Windows环境下运行。

前提条件

  • 已安装HDFS客户端。
  • 当客户端所在主机不是集群中的节点时,需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。

操作步骤

  1. 执行mvn package生成jar包,在工程目录target目录下获取,比如:hdfs-examples-1.0.jar。
  2. 将导出的Jar包拷贝上传至Linux客户端运行环境的任意目录下,例如“/opt/client”,然后在该目录下创建“conf”目录,将“user.keytab” 和 "krb5.conf"拷贝至“conf”目录。可参考6
  3. 配置环境变量。

    source /opt/client/bigdata_env

  4. 执行如下命令,运行Jar包。

    hadoop jar hdfs-examples-1.0.jar com.huawei.bigdata.hdfs.examples.HdfsMain

    运行命令时,需保持客户端“Yarn/config/hdfs-site.xml”中的kerberos相关信息和“HDFS/hadoop/etc/hadoop/hdfs-site.xml”中的kerberos相关信息一致。“hdfs-site.xml”中kerberos的配置mapred改为hdfs,需要修改的地方如图1所示。

    图1 hdfs-site.xml

相关文档