准备Spark应用Scala开发环境

操作场景

Scala开发环境可以搭建在Windows环境下，而运行环境（即客户端）只能部署在Linux环境下。

操作步骤

1. 对于Scala开发环境，推荐使用IDEA工具，安装要求如下。
   • JDK使用1.7版本（或1.8版本）
   • IntelliJ IDEA（版本：13.1.6）
   • Scala（版本：2.11.8）
   • Scala插件（版本：0.35.683）
   

   • Spark不支持当客户端程序使用IBM JDK 1.7运行时，使用yarn-client模式向服务端提交Spark任务。
   • Oracle JDK需进行安全加固，具体操作如下。

   1. 到Oracle官方网站获取与JDK版本对应的JCE（Java Cryptography Extension）文件。JCE文件解压后包含“local_policy.jar”和“US_export_policy.jar”。拷贝jar包到如下路径。

      Linux：JDK安装目录/jre/lib/security

      Windows：JDK安装目录\jre\lib\security

   2. 将“客户端安装目录/JDK/jdk/jre/lib/ext/”目录下“SMS4JA.jar”拷贝到如下路径。

      Linux：JDK安装目录/jre/lib/ext/

      Windows：JDK安装目录\jre\lib\ext\

2. 安装IntelliJ IDEA、JDK和Scala工具，并进行相应的配置。
   1. 安装JDK。
   2. 安装IntelliJ IDEA。
   3. 安装Scala工具。
   4. 在IntelliJ IDEA中配置JDK。
      1. 打开IntelliJ IDEA，选择“Configure”。
         图1 Quick Start
         
      2. 在“Configure”页面中选择的“Project Defaults”。
         图2 Configure
         
      3. 在“Project Defaults”页面中，选择“Project Structure”。
         图3 Project Defaults
         
      4. 在打开的“Project Structure”页面中，选择“SDKs”，单击绿色加号添加JDK。
         图4 添加JDK
         
      5. 在弹出的“Select Home Directory for JDK”窗口，选择对应的JDK目录，然后单击“OK”。
         图5 选择JDK目录
         
      6. 完成JDK选择后，单击“OK”完成配置。
         图6 完成JDK配置
         
   5. 在IntelliJ IDEA中安装Scala插件。
      1. 在“Configure”页面，选择“Plugins”。
         图7 Plugins
         
      2. 在“Plugins”页面，选择“Install plugin from disk”。
         图8 Install plugin from disk
         
      3. 在“Choose Plugin File”页面，选择对应版本的Scala插件包，单击“OK”。

         

      4. 在“Plugins”页面，单击“Apply”安装Scala插件。
      5. 在弹出的“Plugins Changed”页面，单击“Restart”，使配置生效。
         图9 Plugins Changed