更新时间:2024-08-03 GMT+08:00

导入并配置HetuEngine Python3样例工程

本章节适用于MRS 3.3.0及以后版本。

操作场景

为了运行FusionInsight MRS产品HetuEngine组件的Python3样例代码,需要完成下面的操作。

操作步骤

  1. 客户端机器必须安装有Python3,其版本不低于3.6,最高不能超过3.9。

    在客户端机器的命令行终端输入python3可查看Python版本号。如下显示Python版本为3.8.2。
    Python 3.8.2 (default, Jun 23 2020, 10:26:03)
    [GCC 4.8.5 20150623 (Red Hat 4.8.5-36)] on linux
    Type "help", "copyright", "credits" or "license" for more information.     

  2. 客户端机器必须安装有setuptools。

    通过官方网站下载软件,下载地址:https://pypi.org/project/setuptools/#files

    将下载的setuptools压缩文件复制到客户端机器上,解压后进入setuptools项目目录,在客户端机器的命令行终端执行python3 setup.py install

    以47.3.1版本为例,如下内容表示安装setuptools的47.3.1版本成功。

    Finished processing dependencies for setuptools==47.3.1     

    若提示setuptools的47.3.1版本安装不成功,则需要检查环境是否有问题或是Python自身原因导致的。

  3. 客户端机器必须安装有jaydebeapi,可以通过该模块使用java的JDBC来连接数据库。

    可通过如下两种方式安装:
    • pip安装:

      在客户端节点执行pip install JayDeBeApi

    • 运行脚本安装。
      1. 通过官方网站下载JayDeBeApi项目文件,下载地址:https://pypi.org/project/JayDeBeApi/
      2. 进入JayDeBeApi项目目录执行python3 setup.py install。如果安装过程中提示python3缺少模块或者包,则需要自行进行补充。

        以JayDeBeApi-1.2.3为例,提示Successfully installed JayDeBeApi-1.2.3表示已安装成功。

  4. 客户端机器必须安装Java,支持的版本可参考表1中的“安装JDK”。
  5. 获取Python3样例代码。

    1. 参考获取MRS应用开发样例工程,获取样例代码解压目录中“src\hetu-examples”目录下的样例工程文件夹“python3-examples”。
    2. 进入“python3-examples”文件夹。
      • normal文件夹:普通模式下对接HetuEngine的python3样例代码
      • security文件夹:安全模式下对接HetuEngine的python3样例代码。

  6. 获取hetu-jdbc jar包。

    • 通过Manager下载客户端文件至本地获取:
      1. 登录FusionInsight Manager页面,选择“集群 > 服务 > HetuEngine > 更多 > 下载客户端”。
      2. 选择“完整客户端”,根据待安装客户端节点的节点类型选择正确的平台类型(x86选择“x86_64”,ARM选择“aarch64”),不勾选“仅保存到如下路径”,单击“确定”,等待客户端文件包自动生成并下载。
      3. 解压下载的软件包获取hetu-jdbc压缩包并解压获取jdbc包。

        例如客户端文件压缩包为“FusionInsight_Cluster_1_Services_Client.tar”,解压后得到“FusionInsight_Cluster_1_Services_ClientConfig.tar”,继续解压该文件得到“FusionInsight_Cluster_1_Services_ClientConfig”(路径中不能有空格)。再解压“\FusionInsight_Cluster_1_Services_ClientConfig\HetuEngine\x86\hetu-jdbc.tar.gz”获取hetu-jdbc-XXX.jar,复制至样例代码运行机器上自定义路径。

    • 集群客户端节点获取:

      登录已安装HetuEngine客户端的节点,客户端安装路径以“/opt/hadoopclient”为例,则在“/opt/hadoopclient/HetuEngine/hetuserver/jars/”中获取hetu-jdbc-XXX.jar,复制至样例代码运行机器上自定义路径。