在Linux环境中调测Spark应用

编包并运行程序

1. 在IntelliJ IDEA中，打开Maven工具窗口。
   在IDEA主页面，选择“View->Tool Windows->Maven”打开“Maven”工具窗口。

   图1 打开Maven工具窗口
   

   若项目未通过maven导入，需要执行以下操作：

   右键选择单击样例代码项目中的pom文件，选择“Add as Maven Project”，添加Maven项目。

   图2 添加Maven项目
   

2. 通过Maven生成Jar包。
   1. 在Maven工具窗口，选择clean生命周期，执行Maven构建过程。
      图3 选择clean生命周期，执行Maven构建过程
      
   2. 在Maven工具窗口，选择package生命周期，执行Maven构建过程。
      图4 选择package生命周期，执行Maven构建过程
      
      在Run:中出现下面提示，则说明打包成功。

      图5 打包成功提示
      
   3. 您可以从项目目录下的target文件夹中获取到Jar包。
      图6 获取jar包
      

3. 将2中生成的Jar包（如CollectFemaleInfo.jar）复制到Spark运行环境下（即Spark客户端），如“/opt/female”。运行Spark应用程序，具体样例程序可参考开发Spark应用。
   

   在Spark任务运行过程中禁止重启HDFS服务或者重启所有DataNode实例，否则可能会导致任务失败，并可能导致JobHistory部分数据丢失。

查看调测结果

Spark应用程序运行完成后，可通过如下方式查看应用程序的运行情况。

• 通过运行结果数据查看应用程序运行情况。

  结果数据存储路径和格式已经由Spark应用程序指定，可通过指定文件获取。

• 登录Spark WebUI查看应用程序运行情况。

  Spark主要有两个Web页面。

  • Spark UI页面，用于展示正在执行的应用的运行情况。

    页面主要包括了Jobs、Stages、Storage、Environment和Executors五个部分。Streaming应用会多一个Streaming标签页。

    页面入口：在YARN的Web UI界面，查找到对应的Spark应用程序。单击应用信息的最后一列“ApplicationMaster”，即可进入SparkUI页面。

  • History Server页面，用于展示已经完成的和未完成的Spark应用的运行情况。

    页面包括了应用ID、应用名称、开始时间、结束时间、执行时间、所属用户等信息。单击应用ID，页面将跳转到该应用的SparkUI页面。

• 通过Spark日志获取应用程序运行情况。

  您可以查看Spark日志了解应用运行情况，并根据日志信息调整应用程序。相关日志信息可参考Spark2x日志介绍。