文档首页/ MapReduce服务 MRS/ 开发指南（普通版_3.x）/ Spark2x开发指南（安全模式）/ 准备Spark应用开发环境/ 准备Spark本地应用开发环境
更新时间：2024-06-27 GMT+08:00
查看PDF
分享

准备Spark本地应用开发环境

Spark2x可以使用Java/Scala/Python语言进行应用开发，要准备的开发和运行环境如表1所示。
表1 开发环境

准备项

说明

操作系统
  • 开发环境：Windows系统，支持Windows 7以上版本。
  • 运行环境：Windows系统或Linux系统。

    如需在本地调测程序，运行环境需要和集群业务平面网络互通。

安装JDK

Java/Scala开发和运行环境的基本配置。版本要求如下：

服务端和客户端仅支持自带的OpenJDK，版本为1.8.0_272，不允许替换。

对于客户应用需引用SDK类的Jar包运行在客户应用进程中的。

  • X86客户端：Oracle JDK：支持1.8版本；IBM JDK：支持1.8.5.11版本。
  • TaiShan客户端：OpenJDK：支持1.8.0_272版本。
说明：

基于安全考虑，服务端只支持TLS V1.2及以上的加密协议。

IBM JDK默认只支持TLS V1.0，若使用IBM JDK，请配置启动参数“com.ibm.jsse2.overrideDefaultTLS”为“true”，设置后可以同时支持TLS V1.0/V1.1/V1.2，详情参见https://www.ibm.com/support/knowledgecenter/zh/SSYKE2_8.0.0/com.ibm.java.security.component.80.doc/security-component/jsse2Docs/matchsslcontext_tls.html#matchsslcontext_tls。

安装和配置IntelliJ IDEA

用于开发Spark应用程序的工具，建议使用2019.1或其他兼容版本。

说明：
  • 若使用IBM JDK，请确保IntelliJ IDEA中的JDK配置为IBM JDK。
  • 若使用Oracle JDK，请确保IntelliJ IDEA中的JDK配置为Oracle JDK。
  • 若使用Open JDK，请确保IntelliJ IDEA中的JDK配置为Open JDK。
  • 不同的IntelliJ IDEA不要使用相同的workspace和相同路径下的示例工程。

安装Maven

开发环境的基本配置。用于项目管理，贯穿软件开发生命周期。

安装Scala

Scala开发环境的基本配置。版本要求：2.12.10。

安装Scala插件

Scala开发环境的基本配置。版本要求：2018.2.11或其他兼容版本。

安装Editra

Python开发环境的编辑器，用于编写Python程序。或者使用其他编写Python应用程序的IDE。

7-zip

用于解压“*.zip”和“*.rar”文件，支持7-Zip 16.04版本。

安装Python

版本要求不低于3.6。

相关文档