文档首页/ MapReduce服务 MRS/ 开发指南（普通版_2.x及之前）/ Spark开发指南/ 准备Spark应用开发环境/ 准备Spark应用Java开发环境
更新时间：2024-08-03 GMT+08:00
查看PDF
分享

准备Spark应用Java开发环境

操作场景

Java开发环境可以搭建在Windows环境下，而运行环境（即客户端）只能部署在Linux环境下。

操作步骤

  1. 对于Java开发环境，推荐使用IDEA工具，安装要求如下。

    • JDK使用1.7版本（或1.8版本）
    • IntelliJ IDEA（版本：13.1.6）
    • Spark不支持当客户端程序使用IBM JDK 1.7运行时，使用yarn-client模式向服务端提交Spark任务。
    • Oracle JDK需进行安全加固，具体操作如下。
    1. 到Oracle官方网站获取与JDK版本对应的JCE（Java Cryptography Extension）文件。JCE文件解压后包含“local_policy.jar”和“US_export_policy.jar”。拷贝jar包到如下路径。

      Linux：JDK安装目录/jre/lib/security

      Windows：JDK安装目录\jre\lib\security

    2. 将“客户端安装目录/JDK/jdk/jre/lib/ext/”目录下“SMS4JA.jar”拷贝到如下路径。

      Linux：JDK安装目录/jre/lib/ext/

      Windows：JDK安装目录\jre\lib\ext\

  2. 安装IntelliJ IDEA和JDK工具，并进行相应的配置。

    1. 安装JDK。
    2. 安装IntelliJ IDEA工具。
    3. 在IntelliJ IDEA中配置JDK。
      1. 打开IntelliJ IDEA，选择“Configure”。
        图1 Quick Start
      2. 在“Configure”页面中选择的“Project Defaults”。
        图2 Configure
      3. 在“Project Defaults”页面中，选择“Project Structure”。
        图3 Project Defaults
      4. 在打开的“Project Structure”页面中，选择“SDKs”，单击绿色加号添加JDK。
        图4 添加JDK
      5. 在弹出的“Select Home Directory for JDK”窗口，选择对应的JDK目录，然后单击“OK”。
        图5 选择JDK目录
      6. 完成JDK选择后，单击“OK”完成配置。
        图6 完成JDK配置