更新时间：2024-05-10 GMT+08:00
HetuEngine基本原理
HetuEngine简介
HetuEngine是自研高性能交互式SQL分析及数据虚拟化引擎。与大数据生态无缝融合，实现海量数据秒级交互式查询；支持跨源跨域统一访问，使能数据湖内、湖间、湖仓一站式SQL融合分析。
HetuEngine结构
HetuEngine包含不同模块，整体结构如图1所示。
|
模块名称 |
常见概念名称 |
描述 |
|---|---|---|
|
云服务层 |
HetuEngine CLI/JDBC |
HetuEngine的客户端，使用者通过客户端向服务端提交查询请求，然后将执行结果取回并展示。 |
|
HSBroker |
HetuEngine的服务管理，用作计算实例的资源管理校验，健康监控与自动维护等。 |
|
|
HSConsole |
对外提供数据源信息管理，计算实例管理，自动化任务的查看等功能的可视化操作界面和RESTful接口。 |
|
|
HSFabric |
提供跨域（DC）高性能安全数据传输。 |
|
|
引擎层 |
Coordinator |
HetuEngine计算实例的管理节点，提供SQL接收、SQL解析、生成执行计划、执行计划优化、分派任务和资源调度等能力。 |
|
Worker |
HetuEngine计算实例的工作节点，提供数据源数据并行拉取，分布式SQL计算等能力。 |
HetuEngine应用场景
HetuEngine能够支持跨源（多种数据源，如Hive，HBase，GaussDB(DWS)，ClickHouse等），跨域（多个地域或数据中心）的快速联合查询，尤其适用于Hadoop集群（MRS）的Hive、Hudi数据的交互式快速查询场景。
HetuEngine跨源功能简介
出于管理和信息收集的需要，企业内部会存储海量数据，包括数目众多的各种数据库、数据仓库等，此时会面临数据源种类繁多、数据集结构化混合、相关数据存放分散等困境，导致跨源查询开发成本高，跨源复杂查询耗时长。
HetuEngine提供了统一标准SQL实现跨源协同分析，简化跨源分析操作。
图2 HetuEngine跨源功能示意
HetuEngine跨域功能简介
HetuEngine提供统一标准SQL对分布于多个地域（或数据中心）的多种数据源实现高效访问，屏蔽数据在结构、存储及地域上的差异，实现数据与应用的解耦。
图3 HetuEngine跨域功能示意
父主题： HetuEngine
