更新时间:2024-06-27 GMT+08:00
分享

准备Spark本地应用开发环境

Spark2x可以使用Java/Scala/Python语言进行应用开发,要准备的开发和运行环境如表1所示。
表1 开发环境

准备项

说明

操作系统

  • 开发环境:Windows系统,支持Windows 7以上版本。
  • 运行环境:Windows系统或Linux系统。

    如需在本地调测程序,运行环境需要和集群业务平面网络互通。

安装JDK

Java/Scala开发和运行环境的基本配置。版本要求如下:

服务端和客户端仅支持自带的OpenJDK,版本为1.8.0_272,不允许替换。

对于客户应用需引用SDK类的Jar包运行在客户应用进程中的。

  • X86客户端:Oracle JDK:支持1.8版本;IBM JDK:支持1.8.5.11版本。
  • TaiShan客户端:OpenJDK:支持1.8.0_272版本。
说明:

基于安全考虑,服务端只支持TLS V1.2及以上的加密协议。

IBM JDK默认只支持TLS V1.0,若使用IBM JDK,请配置启动参数“com.ibm.jsse2.overrideDefaultTLS”“true”,设置后可以同时支持TLS V1.0/V1.1/V1.2,详情参见https://www.ibm.com/support/knowledgecenter/zh/SSYKE2_8.0.0/com.ibm.java.security.component.80.doc/security-component/jsse2Docs/matchsslcontext_tls.html#matchsslcontext_tls

安装和配置IntelliJ IDEA

用于开发Spark应用程序的工具,建议使用2019.1或其他兼容版本。

说明:
  • 若使用IBM JDK,请确保IntelliJ IDEA中的JDK配置为IBM JDK。
  • 若使用Oracle JDK,请确保IntelliJ IDEA中的JDK配置为Oracle JDK。
  • 若使用Open JDK,请确保IntelliJ IDEA中的JDK配置为Open JDK。
  • 不同的IntelliJ IDEA不要使用相同的workspace和相同路径下的示例工程。

安装Maven

开发环境的基本配置。用于项目管理,贯穿软件开发生命周期。

安装Scala

Scala开发环境的基本配置。版本要求:2.12.10。

安装Scala插件

Scala开发环境的基本配置。版本要求:2018.2.11或其他兼容版本。

安装Editra

Python开发环境的编辑器,用于编写Python程序。或者使用其他编写Python应用程序的IDE。

7-zip

用于解压“*.zip”和“*.rar”文件,支持7-Zip 16.04版本。

安装Python

版本要求不低于3.6。

相关文档