Descripción de producto de HetuEngine
Esta sección solo se aplica a MRS 3.1.2-LTS.3.
Descripción de HetuEngine
HetuEngine es un motor interno de virtualización de datos y análisis SQL interactivo de alto rendimiento. Se integra perfectamente con el ecosistema de big data para implementar consultas interactivas de cantidades masivas de datos en cuestión de segundos, y admite el acceso unificado a datos entre fuentes y dominios para permitir el análisis de convergencia SQL en un solo lugar en el lago de datos, entre lagos, y entre las casas del lago.
Arquitectura de HetuEngine
HetuEngine consta de diferentes módulos. Figura 1 muestra la arquitectura.
|
Módulo |
Concepto |
Descripción |
|---|---|---|
|
Cloud service layer |
HetuEngine CLI/JDBC |
Cliente de HetuEngine, a través del cual se envía la solicitud de consulta y se devuelven y muestran los resultados. |
|
HSBroker |
Componente de gestión de servicios de HetuEngine. Gestiona y verifica las instancias de cómputo, supervisa el estado de salud y realiza el mantenimiento automático. |
|
|
HSConsole |
Proporciona GUI de operación visualizada y RESTful APIs para la gestión de la información de origen de datos, la gestión de instancias de cómputo y la consulta automática de tareas. |
|
|
HSFabric |
Proporciona transferencia de datos segura y de alto rendimiento entre dominios (centros de datos). |
|
|
Engine layer |
Coordinator |
Nodo de gestión de instancias informáticas de HetuEngine. Recibe y analiza sentencias de SQL, genera y optimiza planes de ejecución, asigna tareas y programa recursos. |
|
Worker |
Nodo de trabajo de las instancias informáticas de HetuEngine. Proporciona capacidades tales como la extracción de datos paralelos de fuentes de datos y la computación SQL distribuida. |
Escenarios de aplicación de HetuEngine
HetuEngine admite consultas conjuntas rápidas entre orígenes (múltiples fuentes de datos, como Hive, HBase, GaussDB(DWS), Elasticsearch y ClickHouse) y entre dominios (múltiples regiones o centros de datos), especialmente para consultas rápidas interactivas de datos de Hive y Hudi en el clúster de Hadoop (MRS).
