编译并运行程序

操作场景

在程序代码完成开发后，您可以在Linux环境中运行应用。

前提条件

已安装Yarn客户端。

操作步骤

进入样例工程本地根目录，在Windows命令提示符窗口中执行下面命令进行打包。
mvn -s "{maven_setting_path}" clean package
- 上述打包命令中的{maven_setting_path}为本地Maven的settings.xml文件路径。
- 打包成功之后，在工程根目录的“target”子目录下获取打好的jar包，例如“MRTest-XXX.jar”，jar包名称以实际打包结果为准。
上传生成的应用包“MRTest-XXX.jar”到Linux客户端上，例如“/opt/client/conf”，与配置文件位于同一目录下。
在Linux环境下运行样例工程。
- 对于MapReduce统计样例程序，执行如下命令。
  yarn jar MRTest-XXX.jar com.huawei.bigdata.mapreduce.examples.FemaleInfoCollector <inputPath> <outputPath>
  
  此命令包含了设置参数和提交job的操作，其中<inputPath>指HDFS文件系统中input的路径，<outputPath>指HDFS文件系统中output的路径。
  - 在执行yarn jar MRTest-XXX.jar com.huawei.bigdata.mapreduce.examples.FemaleInfoCollector <inputPath> <outputPath>命令之前，需要把log1.txt和log2.txt这两个文件上传到HDFS的<inputPath>目录下。参考典型场景说明。
  - 在执行yarn jar MRTest-XXX.jar com.huawei.bigdata.mapreduce.examples.FemaleInfoCollector <inputPath> <outputPath>命令之前，<outputPath>目录必须不存在，否则会报错。
  - 在MapReduce任务运行过程中禁止重启HDFS服务，否则可能会导致任务失败。
- 对于MapReduce访问多组件样例程序，操作步骤如下。
  1. 获取“user.keytab”、“krb5.conf”、“hbase-site.xml”、“hiveclient.properties”和“hive-site.xml”文件，并在Linux环境上创建文件夹保存这些配置文件，例如/opt/client/conf。
    
    请联系管理员获取相应账号对应权限的“user.keytab”和“krb5.conf”文件，“hbase-site.xml”从HBase客户端获取，“hiveclient.properties”和“hive-site.xml”从Hive客户端获取。
  2. 在新建的文件夹中创建文件“jaas_mr.conf”，文件内容如下：
```
Client {
com.sun.security.auth.module.Krb5LoginModule required
useKeyTab=true
keyTab="user.keytab"
principal="test@<系统域名>"
useTicketCache=false
storeKey=true
debug=true;
};
```
    文件内容中的test@<系统域名>为示例，实际操作时请做相应修改。
  3. 在Linux环境中添加样例工程运行所需的classpath，例如：
    export YARN_USER_CLASSPATH=/opt/client/conf:/opt/client/HBase/hbase/lib/*:/opt/client/HBase/hbase/lib/client-facing-thirdparty/*:/opt/client/Hive/Beeline/lib/*
  4. 提交MapReduce任务，执行如下命令，运行样例工程。
    yarn jar MRTest-XXX.jar com.huawei.bigdata.mapreduce.examples.MultiComponentExample