更新时间:2024-08-03 GMT+08:00
Spark应用开发环境简介
在进行应用开发时,要准备的开发环境如表1所示。同时需要准备运行调测的Linux环境,用于验证应用程序运行正常。
准备项 |
说明 |
---|---|
安装JDK |
开发环境的基本配置。版本要求:1.7或者1.8。
说明:
基于安全考虑,MRS 服务端只支持TLS 1.1和TLS 1.2加密协议,IBM JDK默认TLS只支持1.0,若使用IBM JDK,请配置启动参数“com.ibm.jsse2.overrideDefaultTLS”为“true”,设置后可以同时支持TLS1.0/1.1/1.2。 |
安装和配置IDEA |
用于开发Spark应用程序的工具。版本要求:13.1.6及以上版本。 |
安装Scala |
Scala开发环境的基本配置。版本要求:2.11.0及以上版本。 |
安装Scala插件 |
Scala开发环境的基本配置。版本要求:0.35.683及以上版本。 |
安装Python |
Python开发环境的基本配置。版本要求:Python2.7.x及以上版本。 |
父主题: 准备Spark应用开发环境