文档首页/ MapReduce服务 MRS/ 组件操作指南（LTS版）/ 使用HetuEngine/ 添加HetuEngine数据源/ 添加跨集群HetuEngine数据源
更新时间：2024-07-24 GMT+08:00
查看PDF
分享

添加跨集群HetuEngine数据源

本章节指导用户在安全模式集群下通过HSConsole界面添加另一个HetuEngine数据源。

添加跨集群HetuEngine数据源步骤

  1. 获取他域HetuEngine集群的代理用户的“user.keytab”文件。

    1. 登录他域HetuEngine集群FusionInsight Manager页面。
    2. 选择“系统 > 权限 > 用户”。
    3. 选择对应的数据源用户，在“操作”列中选择“更多 > 下载认证凭据”。
    4. 从下载的文件中解压出来的“user.keytab”文件就是用户的凭据文件。

  2. 使用HetuEngine管理员用户登录FusionInsight Manager，选择“集群 > 服务 > HetuEngine”，进入HetuEngine服务页面。
  3. 在概览页签下的“基本信息”区域，单击“HSConsole WebUI”后的链接，进入HSConsole界面。
  4. 选择“数据源”，单击“添加数据源”。在“添加数据源”页面填写参数。

    1. 配置“基本配置”，填写数据源名称，选择数据源类型“HetuEngine”。
    2. 配置“HetuEngine配置”，参数配置请参考表1。
      表1 HetuEngine配置

      参数

      描述

      取值样例

      驱动

      默认“hsfabric-initial”。

      hsfabric-initial

      用户名

      开启安全模式时填写此参数。

      访问远端HetuEngine的用户。就是1中获取“user.keytab”所属用户。

      hetu_test

      keytab文件

      开启安全模式时填写此参数。

      访问远端DataCenter的用户Keytab文件。在本地选择1k获取的“user.keytab”文件。

      user.keytab

      开启双向传输

      跨域数据传输是否开启双向传输，默认为“是”。

      • 是：双向传输，请求通过本端的HSFabric将转发至远端的HSFabric，如果开启双向传输，需要配置本端HSFabric地址。
      • 否，单向传输，请求直接发至远端的HSFabric。

      是

      本端地址信息

      本端MRS集群的HetuEngine服务负责对外通信的HSFabric实例的主机IP地址及端口号。

      1. 登录本端集群FusionInsight Manager，选择“集群 > 服务 > HetuEngine > 实例”，查看HSFabric的业务IP地址。
      2. 单击“HSFabric”，选择“实例配置”，查看“server.port”的值，默认为“29900”。

      192.162.157.32:29900

      远端地址信息

      远端MRS集群的HetuEngine服务负责对外通信的HSFabric实例的主机IP地址及端口号。

      1. 登录远端集群FusionInsight Manager，选择“集群 > 服务 > HetuEngine > 实例”，查看HSFabric的业务IP地址。
      2. 单击“HSFabric”，选择“实例配置”，查看“server.port”的值，默认为“29900”。

      192.168.1.1:29900

      区域

      当前请求发起方所属区域，只能包数字和下划线。

      0755_01

      接收超时时长(秒)

      等待接收数据的超时时长(单位：秒)。

      60

      Task总超时时长(秒)

      每个跨域Task执行的总超时时长(单位：秒)。

      300

      Worker节点使用Task数

      每个Worker节点接收数据时使用的Task数量。

      5

      开启数据压缩
      • 是：启动数据压缩。
      • 否：不启动数据压缩。

      是
    3. （可选）自定义配置。
      • 单击“增加”可以增加自定义配置参数。配置HetuEngine数据源自定义参数，参考表2。
        表2 HetuEngine数据源自定义配置参数

        名称

        描述

        取值样例

        hsfabric.health.check.time

        设置检测HSFabric实例状态的周期间隔，单位：秒

        60

        hsfabric.subquery.pushdown

        开启跨域查询下推参数，默认开启。

        • true：开启跨域查询下推。
        • false：不开启跨域查询下推。

        true

        hsfabric.local.tenant

        适用于MRS 3.3.0及以后版本

        指定远端HetuEngine计算所使用的租户队列。

        • 未配置该参数，系统会根据配置的用户，随机选择该用户所属的租户。
        • 配置该参数，系统则会指定租户。适用于包括开启了租户的严格校验模式等场景。

        -
      • 单击“删除”可以删除已增加的自定义配置参数。
    4. 单击“确定”。

  5. 登录集群客户端所在节点，执行以下命令，切换到客户端安装目录并认证用户。

    cd /opt/client

    source bigdata_env

    kinit HetuEngine组件操作用户 （普通模式集群跳过）

  6. 执行以下命令，登录数据源的catalog。

    hetu-cli --catalog 数据源名称 --schema 数据库名

    例如执行以下命令：

    hetu-cli --catalog hetuengine_1 --schema default

  7. 执行以下命令，可正常查看数据库表信息或不报错即表示连接成功。

    show tables;

跨集群HetuEngine数据类型映射

目前HetuEngine数据源支持的数据类型为：BOOLEAN、TINYINT、SMALLINT、INT、BIGINT、REAL、DOUBLE、DECIMAL、VARCHAR、CHAR、DATE、TIMESTAMP、ARRAY、MAP、TIME WITH TIMEZONE、TIMESTAMP WITH TIME ZONE、TIME。

性能优化

支持使用查询下推功能，提高查询速度。

查询下推功能默认打开，也可参考4.c添加相关自定义参数开启查询下推功能。

添加跨集群HetuEngine数据源约束

不支持如下语法：CREATE、ALTER、DROP VIEW、INSERT OVERWRITE、UPDATE、DELETE。

不支持跨域数据源的INSERT操作。