更新时间:2024-08-03 GMT+08:00

Spark应用开发环境简介

在进行应用开发时,要准备的开发环境如表1所示。同时需要准备运行调测的Linux环境,用于验证应用程序运行正常。

表1 开发环境

准备项

说明

安装JDK

开发环境的基本配置。版本要求:1.7或者1.8。

说明:

基于安全考虑,MRS 服务端只支持TLS 1.1和TLS 1.2加密协议,IBM JDK默认TLS只支持1.0,若使用IBM JDK,请配置启动参数“com.ibm.jsse2.overrideDefaultTLS”为“true”,设置后可以同时支持TLS1.0/1.1/1.2。

详情请参见https://www.ibm.com/support/knowledgecenter/zh/SSYKE2_8.0.0/com.ibm.java.security.component.80.doc/security-component/jsse2Docs/matchsslcontext_tls.html#matchsslcontext_tls

安装和配置IDEA

用于开发Spark应用程序的工具。版本要求:13.1.6及以上版本。

安装Scala

Scala开发环境的基本配置。版本要求:2.11.0及以上版本。

安装Scala插件

Scala开发环境的基本配置。版本要求:0.35.683及以上版本。

安装Python

Python开发环境的基本配置。版本要求:Python2.7.x及以上版本。