更新时间:2024-08-05 GMT+08:00

导入并配置MapReduce样例工程

操作场景

MapReduce针对多个场景提供样例工程,帮助客户快速学习MapReduce工程。

以下操作步骤以导入MapReduce样例代码为例。操作流程如图1所示。

图1 导入样例工程流程

前提条件

  • 确保本地环境的时间与MRS集群的时间差要小于5分钟,若无法确定,请联系系统管理员。MRS集群的时间可通过FusionInsight Manager页面右下角查看。
  • 已准备开发环境及MRS集群相关配置文件,详情请参考准备连接MapReduce集群配置文件

操作步骤

  1. 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src”目录下的样例工程,可根据实际业务场景选择对应的样例,相关样例介绍请参见MapReduce样例工程介绍
  2. 将已获取的认证文件和配置文件放置在MapReduce样例工程的“../src/mapreduce-example-security/conf”路径下。

    不使用访问多组件样例程序时,如果不影响统计样例程序的正常编译,可忽略多组件样例程序相关报错信息,否则请在导入样例工程后将多组件样例程序类文件删除。

  3. 导入样例工程到IntelliJ IDEA开发环境。

    1. 打开IntelliJ IDEA,依次选择File > Open
    2. 在弹出的Open File or Project会话框中选择样例工程文件夹“mapreduce-example-security”,单击“OK”

  4. 设置IntelliJ IDEA的文本文件编码格式,解决乱码显示问题。

    1. 在IntelliJ IDEA的菜单栏中,选择“File> Settings”。
    2. 在弹出“Settings”窗口左边导航上选择“Editor > File Encodings”,在“Global Encoding”和“Project Encodings”区域,设置参数值为“UTF-8”,单击“Apply”后,单击“OK”,如图2所示。
      图2 设置IntelliJ IDEA的编码格式

  5. 参考配置华为开源镜像仓章节描述,增加开源镜像仓地址等配置信息到本地Maven的“setting.xml”配置文件。

    修改完成后,使用IntelliJ IDEA开发工具时,可选择“File > Settings > Build, Execution, Deployment > Build Tools > Maven”查看当前“settings.xml”文件放置目录,确保该目录为“<本地Maven安装目录>\conf\settings.xml”。
    图3 “settings.xml”文件放置目录