配置数据源前必读
HetuEngine能够支持多种数据源的快速联合查询并提供可视化的数据源配置、管理页面,用户可通过HSConsole界面快速添加数据源。
当前版本HetuEngine支持对接的数据源如表1所示。
HetuEngine模式 |
数据源 |
数据源模式 |
支持对接的数据源版本 |
---|---|---|---|
安全模式 |
Hive |
安全模式 |
MRS 3.x、FusionInsight 6.5.1 |
HBase |
MRS 3.x |
||
Elasticsearch |
MRS 3.1.2及以后 |
||
HetuEngine |
MRS 3.1.1及以后 |
||
Hudi |
MRS 3.1.2及以后 |
||
ClickHouse |
MRS 3.1.1及以后 |
||
IoTDB |
MRS 3.2.0及以后 |
||
GaussDB |
GaussDB 200、GaussDB A 8.0.0及以后 |
||
MySQL |
MySQL 5.7、MySQL 8.0及以后 |
||
普通模式 |
Hive |
普通模式 |
MRS 3.x、FusionInsight 6.5.1 |
HBase |
MRS 3.x |
||
Elasticsearch |
MRS 3.1.2及以后 |
||
Hudi |
MRS 3.1.2及以后 |
||
ClickHouse |
MRS 3.1.1及以后 |
||
IoTDB |
MRS 3.2.0及以后 |
||
MySQL |
安全模式 |
MySQL 5.7、MySQL 8.0及以后 |
|
GaussDB |
GaussDB 200、GaussDB A 8.0.0及以后 |
HetuEngine数据源的添加、配置、删除等操作支持动态生效,无须重启集群。
目前动态生效不支持关闭,数据源动态生效时间默认为60秒。如需修改动态生效时间,请参考创建HetuEngine计算实例的3.e修改“coordinator.config.properties”和“worker.config.properties”中的参数“catalog.scanner-interval”值为需要设定的动态生效时间,例如:
catalog.scanner-interval =120s
HetuEngine支持查询下推(pushdown),它能把查询,或者部分查询,下推到连接的数据源。这意味着特殊的谓词,聚合函数或者其它一些操作,可以被传递到底层数据库或者文件系统进行处理。查询下推能带来以下好处:
- 提升整体的查询性能。
- 减少HetuEngine和数据源之间的网络流量。
- 减少远端数据源的负载。
HetuEngine对查询下推的具体支持情况,依赖于具体的Connector,以及Connector相关的底层数据源或存储系统。
- 数据源集群域名与HetuEngine集群域名不能相同,HetuEngine也不支持同时对接两个相同域名的数据源(Hive,Hbase,Hudi数据源)。
- 数据源集群与HetuEngine集群节点业务平面网络互通。