文档首页 > > 开发指南> HDFS应用开发> 环境准备> 准备Linux客户端运行环境

准备Linux客户端运行环境

分享
更新时间: 2020/05/09 GMT+08:00

前提条件

1. 确认服务端HDFS组件已经安装,并正常运行。

2. 客户端运行环境已安装1.7或1.8版本的JDK

3. 获取客户端安装包MRS_Services_Client.tar

操作场景

在Linux上安装客户端。

操作步骤

  1. 客户端机器的时间与Hadoop集群的时间要保持一致(手动修改客户端机器或者集群的时间),时间差小于5分钟。

    MRS集群的时间可通过登录主管理节点(集群管理IP地址所在节点)运行date命令查询。

  2. 下载MapReduce客户端程序到客户端机器中。

    1. 登录MRS Manager系统。

      在浏览器地址栏中输入访问地址,地址格式为“https://MRS Manager系统的WebService浮动IP地址:8080/web”。例如,在IE浏览器地址栏中,输入“https://10.10.10.172:8080/web”。

    2. 选择“服务管理 > 下载客户端”,下载客户端程序到客户端机器。

  3. 解压缩客户端文件包MRS_Services_Client.tar。安装包为tar格式,执行如下命令解压两次。

    tar -xvf MRS_Services_Client.tar

    tar -xvf MRS_Service_ClientConfig.tar

  4. 为运行环境设置环境变量,假设安装包解压路径为“MRS_Services_ClientConfig/”。

    进入解压文件夹,执行如下命令安装客户端。

    sh install.sh {client_install_home}

  5. 进入客户端安装目录,执行如下命令初始化环境变量。

    source bigdata_env

  6. 从服务端拷贝如下文件至jar包(样例代码导出的jar包可参安装客户端时编译并运行程序)同目录的conf目录下。

    表1 配置文件

    文件名称

    作用

    获取地址

    core-site.xml

    配置HDFS详细参数。

    ${HADOOP_HOME}/etc/hadoop/core-site.xml

    hdfs-site.xml

    配置HDFS详细参数。

    ${HADOOP_HOME}/etc/hadoop/hdfs-site.xml

    user.keytab

    对于Kerberos安全认证提供HDFS用户信息。

    如果是安全模式集群,您可以联系管理员获取相应帐号对应权限的keytab文件和krb5文件。

    krb5.conf

    Kerberos server配置信息。

    • 表1中${HADOOP_HOME}表示服务端Hadoop的安装目录。
    • keytab认证是24小时有效,超过24小时需要重新认证。
    • 样例代码中PRNCIPAL_NAME的用户名要与获取keytab文件和krb5文件的账户名一致。
    • 不同集群的user.keytab、krb5.conf不能共用。
    • 注意样例代码中,“System.getProperty("user.dir") + File.separator + "conf" + File.separator + "user.keytab"”处使用的keytab文件需与用户的keytab一致。
    • conf目录下的log4j.properties文件客户根据自己的需要进行配置。

分享:

    相关文档

    相关产品

文档是否有解决您的问题?

提交成功!

非常感谢您的反馈,我们会继续努力做到更好!

反馈提交失败,请稍后再试!

*必选

请至少选择或填写一项反馈信息

字符长度不能超过200

提交反馈 取消

如您有其它疑问,您也可以通过华为云社区问答频道来与我们联系探讨

智能客服提问云社区提问