更新时间:2023-07-14 GMT+08:00

HetuEngine产品概述

HetuEngine简介

HetuEngine是自研高性能交互式SQL分析及数据虚拟化引擎。与大数据生态无缝融合,实现海量数据秒级交互式查询;支持跨源跨域统一访问,使能数据湖内、湖间、湖仓一站式SQL融合分析。

HetuEngine结构

HetuEngine包含不同模块,整体结构如图1所示。

图1 HetuEngine结构图
表1 各模块说明

模块名称

常见概念名称

描述

云服务层

HetuEngine CLI/JDBC

HetuEngine的客户端,使用者通过客户端向服务端提交查询请求,然后将执行结果取回并展示。

HSBroker

HetuEngine的服务管理,用作计算实例的资源管理校验,健康监控与自动维护等。

HSConsole

对外提供数据源信息管理,计算实例管理,自动化任务的查看等功能的可视化操作界面和RESTful接口。

HSFabric

提供跨域(DC)高性能安全数据传输。

引擎层

Coordinator

HetuEngine计算实例的管理节点,提供SQL接收、SQL解析、生成执行计划、执行计划优化、分派任务和资源调度等能力。

Worker

HetuEngine计算实例的工作节点,提供数据源数据并行拉取,分布式SQL计算等能力。

HetuEngine应用场景

HetuEngine能够支持跨源(多种数据源,如Hive,HBase,GaussDB(DWS),ClickHouse等),跨域(多个地域或数据中心)的快速联合查询,尤其适用于Hadoop集群(MRS)的Hive、Hudi数据的交互式快速查询场景。

HetuEngine跨源功能简介

出于管理和信息收集的需要,企业内部会存储海量数据,包括数目众多的各种数据库、数据仓库等,此时会面临数据源种类繁多、数据集结构化混合、相关数据存放分散等困境,导致跨源查询开发成本高,跨源复杂查询耗时长。

HetuEngine提供了统一标准SQL实现跨源协同分析,简化跨源分析操作。
图2 HetuEngine跨源功能示意

HetuEngine跨域功能简介

HetuEngine提供统一标准SQL对分布于多个地域(或数据中心)的多种数据源实现高效访问,屏蔽数据在结构、存储及地域上的差异,实现数据与应用的解耦。
图3 HetuEngine跨域功能示意