更新时间:2024-10-23 GMT+08:00

导入并配置MapReduce样例工程

操作场景

MapReduce针对多个场景提供样例工程,帮助客户快速学习MapReduce工程。

以下操作步骤以导入MapReduce样例代码为例。操作流程如图1所示。

图1 导入样例工程流程

操作步骤

  1. 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src”目录下的样例工程文件夹“mapreduce-example-normal”。
  2. 导入样例工程到IntelliJ IDEA开发环境。

    1. 打开IntelliJ IDEA,依次选择File > Open
    2. 在弹出的Open File or Project会话框中选择样例工程文件夹“mapreduce-example-normal”,单击“OK”

  3. 设置IntelliJ IDEA的文本文件编码格式,解决乱码显示问题。

    1. 在IntelliJ IDEA的菜单栏中,选择“File> Settings”。

      弹出“Settings”窗口。

    2. 在左边导航上选择“Editor > File Encodings”,在“Global Encoding”和“Project Encodings”区域,设置参数值为“UTF-8”,单击“Apply”后,单击“OK”,如图2所示。
      图2 设置IntelliJ IDEA的编码格式

  4. 参考配置华为开源镜像仓章节描述,增加开源镜像仓地址等配置信息到本地Maven的“setting.xml”配置文件。

    修改完成后,使用IntelliJ IDEA开发工具时,可选择“File > Settings > Build, Execution, Deployment > Build Tools > Maven”查看当前“settings.xml”文件放置目录,确保该目录为“<本地Maven安装目录>\conf\settings.xml”。
    图3 “settings.xml”文件放置目录

参考信息

针对MapReduce提供的几个样例程序,其对应的依赖包如下:

  • MapReduce统计样例程序

    没有需要额外导入的jar包

  • MapReduce访问多组件样例程序
    • 导入样例工程之后,如果需要使用访问多组件样例程序,请确保集群已安装Hive、HBase服务。
    • 不使用访问多组件样例程序时,如果不影响统计样例程序的正常编译,可忽略多组件样例程序相关报错信息,否则请在导入样例工程后将多组件样例程序类文件删除。