更新时间:2024-11-08 GMT+08:00
添加Python包后,找不到指定的Python环境
添加Python3包后,找不到指定的Python环境。
可以通过在conf文件中,设置spark.yarn.appMasterEnv.PYSPARK_PYTHON=python3,指定计算集群环境为Python3环境。
目前,新建集群环境均已默认为Python3环境。
父主题: Spark作业开发类