更新时间:2022-11-22 GMT+08:00
分享

安装客户端时编译并运行程序

操作场景

HDFS应用程序支持在安装HDFS客户端的Linux环境中运行。在程序代码完成开发后,可以上传Jar包至准备好的Linux客户端运行环境中运行。

前提条件

  • 已安装HDFS客户端。
  • 当客户端所在主机不是集群中的节点时,需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。

操作步骤

  1. 进入样例工程本地根目录,在Windows命令提示符窗口中执行下面命令进行打包。

    mvn -s "{maven_setting_path}" clean package

    • “{maven_setting_path}”为本地Maven的“settings.xml”文件路径,例如“C:\Users\Developer\settings.xml”
    • 打包成功之后,在工程根目录的“target”子目录下获取打好的jar包,例如“HDFSTest-XXX.jar”,jar包名称以实际打包结果为准。

  2. 将导出的Jar包拷贝上传至集群客户端运行环境的任意目录下,例如“/opt/client”,然后在该目录下创建“conf”目录,将需要的配置文件拷贝至“conf”目录,具体操作请参考准备运行环境
  3. 配置环境变量:

    cd /opt/client

    source bigdata_env

  4. 执行如下命令,运行Jar包。

    hadoop jar HDFSTest-XXX.jar com.huawei.bigdata.hdfs.examples.HdfsExample

    hadoop jar HDFSTest-XXX.jar com.huawei.bigdata.hdfs.examples.ColocationExample

    在运行com.huawei.bigdata.hdfs.examples.ColocationExample时,HDFS的配置项“fs.defaultFS”不能配置为“viewfs://ClusterX”。

分享:

    相关文档

    相关产品