Spark应用开发环境简介
在进行应用开发时,要准备的开发环境如表1所示。同时需要准备运行调测的Linux环境,用于验证应用程序运行正常。
| 准备项 | 说明 |
|---|---|
| 安装JDK | 开发环境的基本配置。版本要求:1.7或者1.8。 说明: 基于安全考虑,MRS 服务端只支持TLS 1.1和TLS 1.2加密协议,IBM JDK默认TLS只支持1.0,若使用IBM JDK,请配置启动参数“com.ibm.jsse2.overrideDefaultTLS”为“true”,设置后可以同时支持TLS1.0/1.1/1.2。 |
| 安装和配置IDEA | 用于开发Spark应用程序的工具。版本要求:13.1.6及以上版本。 |
| 安装Scala | Scala开发环境的基本配置。版本要求:2.11.0及以上版本。 |
| 安装Scala插件 | Scala开发环境的基本配置。版本要求:0.35.683及以上版本。 |
| 安装Python | Python开发环境的基本配置。版本要求:Python2.7.x及以上版本。 |