更新时间:2024-11-29 GMT+08:00

配置数据源前必读

HetuEngine能够支持多种数据源的快速联合查询并提供可视化的数据源配置、管理页面,用户可通过HSConsole界面快速添加数据源。

当前版本HetuEngine支持对接的数据源如表1所示。

表1 HetuEngine对接数据源一览表

HetuEngine模式

数据源

数据源模式

支持对接的数据源版本

安全模式

Hive

安全模式

MRS 3.x、FusionInsight 6.5.1

HBase

MRS 3.x

Elasticsearch

MRS 3.1.2及以后

HetuEngine

MRS 3.1.1及以后

Hudi

MRS 3.1.2及以后

ClickHouse

MRS 3.1.1及以后

IoTDB

MRS 3.2.0及以后

GaussDB

GaussDB 200、GaussDB A 8.0.0及以后

MySQL

MySQL 5.7、MySQL 8.0及以后

普通模式

Hive

普通模式

MRS 3.x、FusionInsight 6.5.1

HBase

MRS 3.x

Elasticsearch

MRS 3.1.2及以后

Hudi

MRS 3.1.2及以后

ClickHouse

MRS 3.1.1及以后

IoTDB

MRS 3.2.0及以后

MySQL

安全模式

MySQL 5.7、MySQL 8.0及以后

GaussDB

GaussDB 200、GaussDB A 8.0.0及以后

HetuEngine数据源的添加、配置、删除等操作支持动态生效,无须重启集群。

目前动态生效不支持关闭,数据源动态生效时间默认为60秒。如需修改动态生效时间,请参考创建HetuEngine计算实例3.e修改“coordinator.config.properties”“worker.config.properties”中的参数“catalog.scanner-interval”值为需要设定的动态生效时间,例如:

catalog.scanner-interval =120s

HetuEngine支持查询下推(pushdown),它能把查询,或者部分查询,下推到连接的数据源。这意味着特殊的谓词,聚合函数或者其它一些操作,可以被传递到底层数据库或者文件系统进行处理。查询下推能带来以下好处:

  1. 提升整体的查询性能。
  2. 减少HetuEngine和数据源之间的网络流量。
  3. 减少远端数据源的负载。

HetuEngine对查询下推的具体支持情况,依赖于具体的Connector,以及Connector相关的底层数据源或存储系统。

  • 数据源集群域名与HetuEngine集群域名不能相同,HetuEngine也不支持同时对接两个相同域名的数据源(Hive,Hbase,Hudi数据源)。
  • 数据源集群与HetuEngine集群节点业务平面网络互通。