更新时间:2024-08-03 GMT+08:00

HetuEngine应用开发简介

HetuEngine简介

HetuEngine是华为自研高性能交互式SQL分析及数据虚拟化引擎。与大数据生态无缝融合,实现海量数据秒级交互式查询;支持跨源跨域统一访问,使能数据湖内、湖间、湖仓一站式SQL融合分析。

HetuEngine基本概念

  • HSBroker: HetuEngine的服务代理,用作用户租户管理校验,HetuEngine访问URL的获取等。
  • Coordinator:HetuEngine服务的资源协调者,负责SQL解析和优化等事务。
  • Worker:负责执行任务和处理数据。
  • Connector:HetuEngine访问数据库的接口,HetuEngine通过Connector的驱动连接数据源,读取数据源元数据和对数据进行增删改查等操作。
  • Catalog:HetuEngine中一个catalog配置文件对应一个数据源,一个数据源可以有多个不同catalog配置,可以通过数据源的properties文件进行配置。
  • Schema:对应数据库的Schema名称。
  • Table:对应数据库的表名。

HetuEngine连接方式说明

表1 连接方式说明

连接方式

是否支持用户名密码认证方式

是否支持Keytab认证方式

是否支持客户端跨网段访问

使用前提

HSFabric

  • 确保业务侧和HetuEngine服务端HSFabric所在业务节点网络互通
  • 适用于双平面的网络场景
  • 只需对外开放HSFabric固定的IP,端口
  • 支持范围:MRS 3.1.3及之后版本

HSBroker

  • 确保业务侧和HetuEngine服务端HSBroker、Coordinator(随机分布在Yarn NodeManger)所在业务节点网络互通
  • 需对外开放Coordinator的IP,端口
  • 支持范围:MRS 3.1.0及之后版本