更新时间:2024-08-05 GMT+08:00

配置Hive Python样例工程

操作场景

为了运行MRS产品Hive组件的Python接口样例代码,需要完成下面的操作。

  • MRS 3.1.2及之后版本默认仅支持Python3。
  • 该样例仅支持在Linux节点上运行。

操作步骤

  1. 客户端机器必须安装有Python,其版本不低于2.6.6,最高不能超过2.7.13。

    在客户端机器的命令行终端输入python可查看Python版本号。如下显示Python版本为2.6.6。
    Python 2.6.6 (r266:84292, Oct 12 2012, 14:23:48)  
    [GCC 4.4.6 20120305 (Red Hat 4.4.6-4)] on linux2 
    Type "help", "copyright", "credits" or "license" for more information.     

  2. 客户端机器必须安装有setuptools,其版本不低于5.0,最高不能超过36.8.0。可在https://pypi.org/project/setuptools/#files获取相应的安装包。

    将下载的setuptools压缩文件复制到客户端机器上,解压后进入解压目录,在客户端机器的命令行终端执行以下命令:

    python setup.py install

    如下内容表示安装setuptools的5.7版本成功。

    Finished processing dependencies for setuptools==5.7     

  3. 安装Python客户端到客户端机器。

    1. 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src\hive-examples”目录下的样例工程文件夹“python-examples”。
    2. 进入“python-examples”文件夹。
    3. 在命令行终端执行以下命令:

      python setup.py install

      输出以下关键内容表示安装Python客户端成功。

      Finished processing dependencies for pyhs2==0.5.0     

  4. 安装成功后,“python-examples/pyCLI_nosec.py”为Python客户端样例代码,“python-examples/pyhs2/haconnection.py”为Python客户端接口API。“hive_python_client”脚本提供了直接执行SQL的功能,如:sh hive_python_client 'show tables'。该功能只适用于常规简单的SQL,并且需要依赖ZooKeeper的客户端。