更新时间:2023-04-10 GMT+08:00
安装客户端时编译并运行程序
操作场景
HDFS应用程序支持在安装HDFS客户端的Linux环境中运行。在程序代码完成开发后,可以上传Jar包至准备好的Linux客户端运行环境中运行。
前提条件
- 已安装HDFS客户端。
- 当客户端所在主机不是集群中的节点时,需要在客户端所在节点的hosts文件中设置主机名和IP地址映射。主机名和IP地址请保持一一对应。
操作步骤
- 进入样例工程本地根目录,在Windows命令提示符窗口中执行下面命令进行打包。
mvn -s "{maven_setting_path}" clean package
- 上述打包命令中的{maven_setting_path}为本地Maven的“settings.xml”文件路径。
- 打包成功之后,在工程根目录的target子目录下获取打好的jar包,例如“HDFSTest-XXX.jar”,jar包名称以实际打包结果为准。
- 将导出的Jar包拷贝上传至Linux客户端运行环境的任意目录下,例如“/opt/client”。
- 配置环境变量:
cd /opt/client
source bigdata_env
- 运行此样例代码需要设置运行用户,设置运行用户有两种方式,添加环境变量HADOOP_USER_NAME或者修改代码设置运行用户。若在没有修改代码的场景下,执行以下语句添加环境变量:
export HADOOP_USER_NAME=test
用户可向管理员咨询运行用户。test在这里只是举例,若需运行Colocation相关操作的样例代码,则此用户需属supergroup用户组。
- 执行如下命令,运行Jar包。
hadoop jar HDFSTest-XXX.jar com.huawei.bigdata.hdfs.examples.HdfsExample
hadoop jar HDFSTest-XXX.jar com.huawei.bigdata.hdfs.examples.ColocationExample
在运行com.huawei.bigdata.hdfs.examples.ColocationExample时,HDFS的配置项“fs.defaultFS”不能配置为“viewfs://ClusterX”。
父主题: 在Linux中调测程序