文档首页 > > 开发指南> MapReduce应用开发> 调测程序> 编译并运行程序

编译并运行程序

分享
更新时间: 2020/05/15 GMT+08:00

在程序代码完成开发后,可以在Linux环境中运行应用。

操作步骤

  1. 生成MapReduce应用可执行包。

    执行mvn package打出jar包,在工程目录target目录下获取,比如“mapreduce-examples-1.0.jar”。

  2. 上传生成的应用包“mapreduce-examples-1.0.jar”到Linux客户端上。例如“/opt”目录。
  3. 如果集群开启Kerberos,参考5.2.2-准备开发用户获得的user.keytab”、“krb5.conf”文件需要在Linux环境上创建文件夹保存这些配置文件,例如“/opt/conf”。并在linux环境上,在客户端路径下获得core-site.xml、hdfs-site.xml文件放入上述文件夹里。
  4. 样例程序如果指定OBS为输入输出的目标文件系统(如s3a://<BucketName>/input/),需要进行以下配置。

    在$YARN_CONF_DIR/core-site.xml中添加AK配置项“fs.s3a.access.key”和SK配置项“fs.s3a.secret.key”,AK/SK可登录“OBS控制台”,进入“我的凭证”页面获取。

    <property>
    <name>fs.s3a.access.key</name>
    <value>xxxxxxxxxxxxxxxx</value>
    </property>
    <property>
    <name>fs.s3a.secret.key</name>
    <value>xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx</value>
    </property>

  5. 在Linux环境下运行样例工程。

    • 对于MapReduce统计样例程序,执行如下命令。
      1. 如果集群开启kerberos,在Linux环境中添加样例工程运行所需的classpath,例如

        export YARN_USER_CLASSPATH=/opt/conf/

      2. 执行如下命令:
        cd /opt
        yarn jar mapreduce-examples-1.0.jar com.huawei.bigdata.mapreduce.examples.FemaleInfoCollector <inputPath> <outputPath>

    此命令包含了设置参数和提交job的操作,其中<inputPath>指HDFS文件系统中input的路径,<outputPath>指HDFS文件系统中output的路径。

    • 在执行yarn jar mapreduce-examples-1.0.jar com.huawei.bigdata.mapreduce.examples.FemaleInfoCollector <inputPath> <outputPath>命令之前,需要把log1.txt和log2.txt这两个文件上传到HDFS的<inputPath>目录下。
    • 在执行yarn jar mapreduce-examples-1.0.jar com.huawei.bigdata.mapreduce.examples.FemaleInfoCollector <inputPath> <outputPath>命令之前,<outputPath>目录必须不存在,否则会报错。
    • mapreduce-examples-1.0.jar适用于MRS 1.x版本,MRS 2.x版本请使用mapreduce-examples-2.0.jar
    • 在MapReduce任务运行过程中禁止重启HDFS服务,否则可能会导致任务失败。
    • 运行样例工程前需要根据实际环境修改认证信息。
    • 针对开启Kerberos认证的安全集群,代码中的“principal”请根据实际环境修改。例如test@FAA12CC3_0996_432F_9D6F_E18F6F9D7F43.COM。
    • 对于MapReduce访问多组件样例程序,操作步骤如下。
      1. 获取“hbase-site.xml”、“hiveclient.properties”、“hive-site.xml”和“mapred-site.xml”文件,如果是安全模式集群,还需要同时获取“user.keytab”、“krb5.conf”,并在Linux环境上创建文件夹保存这些配置文件,例如“/opt/conf”。

        请联系管理员获取相应帐号对应权限的“user.keytab”和“krb5.conf”文件,“hbase-site.xml”从HBase客户端获取,例如:/opt/client/HBase/hbase/conf,“hiveclient.properties”和“hive-site.xml”从Hive客户端获取,例如:/opt/client/Hive/config,“mapred-site.xml”文件从Yarn客户端获取,例如:/opt/client/Yarn/config。

      2. 对于安全模式集群,在新建的文件夹中创建文件“jaas_mr.conf”,文件内容如下。
        Client {
        com.sun.security.auth.module.Krb5LoginModule required
        useKeyTab=true
        keyTab="user.keytab"
        principal="test@FAA12CC3_0996_432F_9D6F_E18F6F9D7F43.COM"
        useTicketCache=false
        storeKey=true
        debug=true;
        }; 
        • 文件内容中的test@HADOOP.COM为示例,实际操作时请做相应修改。
        • “jaas_mr.conf”文件和代码中的“principal”请根据实际环境修改。例如test@FAA12CC3_0996_432F_9D6F_E18F6F9D7F43.COM。
        • 未开启Kerberos认证集群略过此步骤。
      3. 在Linux环境中添加样例工程运行所需的classpath,例如(以客户端安装路径为/opt/conf为例)

        export YARN_USER_CLASSPATH=/opt/conf/:/opt/client/HBase/hbase/lib/*:/opt/client/Hive/Beeline/lib/*

        • 针对MRS 1.9.x版本集群,需要在执行上述命令前或者执行上述命令后执行mv /opt/client/Hive/Beeline/lib/derby-10.10.2.0.jar derby-10.10.2.0.jar.bak命令。
        • 命令中使用的jar包请根据集群中对应路径下的实际版本修改。
      4. 提交MapReduce任务,执行如下命令,运行样例工程。运行样例工程前需要根据实际环境修改认证信息。

        yarn jar mapreduce-examples-1.0.jar com.huawei.bigdata.mapreduce.examples.MultiComponentExample

分享:

    相关文档

    相关产品

文档是否有解决您的问题?

提交成功!

非常感谢您的反馈,我们会继续努力做到更好!

反馈提交失败,请稍后再试!

*必选

请至少选择或填写一项反馈信息

字符长度不能超过200

提交反馈 取消

如您有其它疑问,您也可以通过华为云社区问答频道来与我们联系探讨

智能客服提问云社区提问