更新时间:2024-06-14 GMT+08:00
准备Spark应用Java开发环境
操作场景
Java开发环境可以搭建在Windows环境下,而运行环境(即客户端)只能部署在Linux环境下。
操作步骤
- 对于Java开发环境,推荐使用IDEA工具,安装要求如下。
- JDK使用1.7版本(或1.8版本)
- IntelliJ IDEA(版本:13.1.6)

- Spark不支持当客户端程序使用IBM JDK 1.7运行时,使用yarn-client模式向服务端提交Spark任务。
- Oracle JDK需进行安全加固,具体操作如下。
- 到Oracle官方网站获取与JDK版本对应的JCE(Java Cryptography Extension)文件。JCE文件解压后包含“local_policy.jar”和“US_export_policy.jar”。拷贝jar包到如下路径。
Linux:JDK安装目录/jre/lib/security
Windows:JDK安装目录\jre\lib\security
- 将“客户端安装目录/JDK/jdk/jre/lib/ext/”目录下“SMS4JA.jar”拷贝到如下路径。
Linux:JDK安装目录/jre/lib/ext/
Windows:JDK安装目录\jre\lib\ext\
- 安装IntelliJ IDEA和JDK工具,并进行相应的配置。
- 安装JDK。
- 安装IntelliJ IDEA工具。
- 在IntelliJ IDEA中配置JDK。
- 打开IntelliJ IDEA,选择“Configure”。 图1 Quick Start

- 在“Configure”页面中选择的“Project Defaults”。 图2 Configure

- 在“Project Defaults”页面中,选择“Project Structure”。 图3 Project Defaults

- 在打开的“Project Structure”页面中,选择“SDKs”,单击绿色加号添加JDK。 图4 添加JDK

- 在弹出的“Select Home Directory for JDK”窗口,选择对应的JDK目录,然后单击“OK”。 图5 选择JDK目录

- 完成JDK选择后,单击“OK”完成配置。 图6 完成JDK配置

- 打开IntelliJ IDEA,选择“Configure”。
父主题:准备Spark应用开发环境

