安装Python3
- 使用root用户,登录集群外客户端节点,执行如下命令,检查是否安装Python3。
python3 --version
- 安装Python,此处以Python3.6.6为例。
- 执行如下命令,安装依赖:
yum install zlib zlib-devel zip -y
yum install gcc-c++
yum install openssl-devel
yum install sqlite-devel -y
如果pandas库需要额外安装如下依赖:
yum install -y xz-devel
yum install bzip2-devel
- 下载对应Python版本源码:wget https://www.python.org/ftp/python/3.6.6/Python-3.6.6.tgz
- 执行如下命令,解压python源码压缩包,例如下载在“opt”目录下:
tar –xvf Python-3.6.6.tgz
- 创建Python的安装目录,此处以“/opt/python36”为例:
- 编译Python。
./configure --prefix=/opt/python36
执行成功,显示结果如下:
执行命令:make -j8,执行成功,显示结果如下:
执行命令:make install,执行成功,显示结果如下:
- 执行如下命令,配置python环境。
export PYTHON_HOME=/opt/python36
export PATH=$PYTHON_HOME/bin:$PATH
- 执行命令python3 --version,显示结果如下,表示Python已经安装完成。
- 执行如下命令,安装依赖:
- 验证Python3。
pip3 install helloword
python3
import helloworld
helloworld.say_hello("test")
- 测试安装第三方Python库(如pandas, sklearn)。
pip3 install pandas
pip3 install backports.lzma
pip3 install sklearn
- 执行命令python3 -m pip list,查看安装结果。
- 打包Python.zip
cd /opt/python36/
zip -r python36.zip ./*
- 创建并上传到HDFS指定目录作为后续使用。
hdfs dfs -mkdir /user/python
hdfs dfs -put python36.zip /user/python